5. 部署管理Hadoop集群
5.1 部署Hadoop集群
登陆界面http://{IP Address}:8080/，用户名密码为admin：admin。接下来就可以启动安装向导，创建集群，安装服务。
部署成功后，便可成功进入界面。在主界面中，可以查看集群状态监控信息
在HadoopMaster的终端执行jps命令，在打印结果中会看到master上运行的进程，这些进程表示主节点进程启动成功。
在HadoopSlave 的终端执行jps命令，也会看到相应的进程：
5.2 HDFS运维管理
5.2.1 HDFS命令手册
1. 概述
切换到hdfs用户，可以通过“hadoop fs -”命令来查看HDFS文件系统的帮助命令，通过提示的命令来对文件系统进行管理。
命令如下：
$ hadoop fs -
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法：hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop有一个选项解析框架用于解析一般的选项和运行类。
| 命令选项 | 描述 |
|---|---|
| –config confdir | 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf |
| GENERIC_OPTIONS | 多个命令都支持的通用选项 |
| COMMAND 命令选项S | 各种各样的命令和它们的选项会在下面提到。这些命令被分为 用户命令 管理命令两组。 |
2. 权限管理
在Hadoop集群中，只有hdfs用户才有对HDFS文件系统的管理权限，当其它用户对文件系统进行操作，需要给其赋予相应的权限，这里为了方便操作，将所有用户的读写执行权限全部放开，命令如下：
3. 常规选项
下面的选项被 dfsadmin, fs, fsck和 job支持。 应用程序要实现 Tool来支持常规选项。
| GENERIC_OPTION | 描述 |
|---|---|
| -conf | 指定应用程序的配置文件。 |
| -D <property=value> | 为指定property指定值value。 |
| -fs <local|namenode:port> | 指定namenode。 |
| -jt <local|jobtracker:port> | 指定job tracker。只适用于job。 |
| -files <逗号分隔的文件列表> | 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 |
| -libjars <逗号分隔的jar列表> | 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 |
| -archives <逗号分隔的archive列表> | 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 |
4.用户命令
hadoop集群用户的常用命令。
archive
创建一个hadoop档案文件。参考 Hadoop Archives.
用法：hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
| 命令选项 | 描述 |
|---|---|
| -archiveName NAME | 要创建的档案的名字。 |
| -p | 父路径，格式与正则表达式一致。 |
| src | 父路径下面需要创建档案的文件名（可多个） |
| dest | 保存档案文件的目标目录。 |
distcp
递归地拷贝文件或目录。参考DistCp指南以获取等多信息。
用法：hadoop distcp
| *命令选项* | *描述* |
|---|---|
| srcurl | 源Url |
| desturl | 目的Url |
fs
用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
运行一个常规的文件系统客户端。
fsck
运行HDFS文件系统检查工具。参考Fsck了解更多。
用法：hadoop fsck [GENERIC_OPTIONS]
| *命令选项* | *描述* |
|---|---|
|
|
检查的起始目录。 |
| -move | 移动受损文件到/lost+found |
| -delete | 删除受损文件。 |
| -openforwrite | 打印出写打开的文件。 |
| -files | 打印出正被检查的文件。 |
| -blocks | 打印出块信息报告。 |
| -locations | 打印出每个块的位置信息。 |
| -racks | 打印出data-node的网络拓扑结构。 |
jar
运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。
用法：hadoop jar [mainClass] args…
job
用于和Map Reduce作业交互和命令。
用法：hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
| *命令选项* | *描述* |
|---|---|
| -submit | 提交作业 |
| -status | 打印map和reduce完成百分比和所有计数器。 |
| -counter | 打印计数器的值。 |
| -kill | 杀死指定作业。 |
| -events <from-event-#> <#-of-events> | 打印给定范围内jobtracker接收到的事件细节。 |
| -history [all] | -history 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。 |
| -list [all] | -list all显示所有作业。-list只显示将要完成的作业。 |
| -kill-task | 杀死任务。被杀死的任务不会不利于失败尝试。 |
| -fail-task | 使任务失败。被失败的任务会对失败尝试不利。 |
pipes
运行pipes作业。
用法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
| *命令选项* | *描述* |
|---|---|
| -conf
|
作业的配置 |
| -jobconf <key=value>, <key=value>, … | 增加/覆盖作业的配置项 |
| -input
|
输入目录 |
| -output
|
输出目录 |
| -jar | Jar文件名 |
| -inputformat | InputFormat类 |
| -map | Java Map类 |
| -partitioner | Java Partitioner |
| -reduce | Java Reduce类 |
| -writer | Java RecordWriter |
| -program | 可执行程序的URI |
| -reduces | reduce个数 |
version
打印版本信息。
用法：hadoop version
CLASSNAME
hadoop脚本可用于调调用任何类。
用法：hadoop CLASSNAME
运行名字为CLASSNAME的类。
