Hadoop命令大全

容，在所有列出的

slave

DataNode

守护进程。

9

、在分配的

JobTr acker

上，运行下面的命令停止

Map/Reduce

：

$$ bin/

bin/

脚本会参照

JobTracker

< br>上

$${HADOOP_CONF_DIR}/slaves

文

件的内容，在所有列出的

slave

上停止

TaskTracker

守护进程。

< br>

10

、启动所有

$$ bin/

11

、关闭所有

$$ bin/

DFSShell

10

、创建一个名为

/foodir

的目录

$$ bin/hadoop dfs -mkdir /foodir

11

、创建一个名为

/foodir

的目录

$$ bin/hadoop dfs -mkdir /foodir

12

、查看名为

/foodir/

的文件内容

$$ bin/hadoop dfs -cat /foodir/

说明：

hadoop fs <..>

命令等同于

hadoop dfs <..>

命令

DFSAdmin

13

、将集群置于安全模式

$$ bin/hadoop dfsadmin -safemode enter

14

、显示

Datanode

列表

$$ bin/hadoop dfsadmin -report

15

、使

节点

datanodename

退役

$$ bin/hadoop dfsadmin -decommission datanodename

16

、

bin/hadoop dfsadmin -help

命令能列出所有当前支持的命令。比如：

* -report

：报告

HDFS< /p>

的基本统计信息。有些信息也可以在

NameNode Web

服务

首页看到。

*

-safemode

：虽然通常并 不需要，但是管理员的确可以手动让

NameNode

进入或< /p>

离开安全模式。

* -finaliz eUpgrade

：删除上一次升级时制作的集群备份。

17

、显式地将

HDFS

< br>置于安全模式

$$ bin/hadoop dfsadmin -safemode

18

、在升级之前， 管理员需要用（升级终结操作）命令删除存在的备份文件

$$ bin/hadoop dfsadmin -finalizeUpgrade

19

、能够知道是否需要对一个集群执行升级终结操作。

$$ dfsadmin -upgradeProgress status

20

、使用

-upgrade

< br>选项运行新的版本

$$ bin/ -upgrade

21

、如果需要退回到老版本

,

就必须停止集群并且部署老版本的

Hadoop

，用回滚

选项启动集群

$$ bin/start-dfs.h -rollback

22

、下面的新命令或新选项是用于支持配额的。

前两个是管理员命令。

* dfsadmin -setquota ... < /p>

把每个目录配额设为

N

。这个命令会在每 个目录上尝试，

如果

N

不是一个正的

长整型数，目录不存在或是文件名，

或者目录超过配额，则会产生错误报告。

* dfsadmin -clrquota ...

为每个目录删除配额。

这个命令会在每个目录上尝试，

如果目录不存在或者是文

件，则会产生错误报告。如果目录原来没有设置配额不会报错。

* fs -count -q ...

使用

-q

选项，会报告每个目录设置的配额，以及剩余配额。

如果目录没有设置

配额，会报告

none< /p>

和

inf

。

< /p>

23

、创建一个

hadoop

$$ hadoop archive -archiveName NAME *

-archiveName NAME

要创建的档案的名字。

src

文件系统的路径名，和通常含正则表达的一样。

dest

保存档案文件的目标目录。

24

、递归地拷贝文件或目录

$$ hadoop distcp

srcurl

源

Url

desturl

目标

Url

25

、运行

HDFS

文件系统检查工具

(fsck tools)

用法：

hadoop fsck

[GENERIC_OPTIONS] [-move | -delete |

-openforwrite] [-files [-blocks [-locations | -racks]]]

命令选项

描述

检查的起始目录。

-move

移动受损文件到

/lost+found

-delete

删除受损文件。

-openforwrite

打印出写打开的文件。

-files

打印出正被检查的文件。

-blocks

打印出块信息报告。

-locations

打印出每个块的位置信息。

-racks

打印出

data- node

的网络拓扑结构。

26

、用于和

Map Reduce

作业交互和命令

(jar)

用法：

hadoop job

[GENERIC_OPTIONS] [-submit ] | [-status

] | [-counter ] | [-kill

]

|

[-events

<#-of- events>]

|

[-history

[all] ] | [-list [all]] | [-kill-task ] |

[-fail-task ]

命令选项

描述

-submit

提交作业

-status

打印

map

和

reduce

完成百分比 和所有计数器。

-counter

打印计数器的值。

-kill

杀死指定作业。

-events

<#-of-events>

打印给定范围内

jobtracker

接收到的事件细节。

-history [all] -history

打印作业的细节、

失败及被杀死原因的细节。更多的关于一个作业的细节比如