記事のディレクトリ
- 次のオプト、解凍にアップロードHadoopのアーカイブ
- いくつかの設定変更を行うには、次のパスを入力します./hadoop-2.7.2/etc/hadoop/
- 編集hadoop-env.shは独自のパスのJDKを設定します
- 編集コア-site.xmlのは、IPの設定は、ポートは、サイズのバッファのファイルを読み込みます
- 編集HDFS-site.xmlのは、コピー枚数を設定するというように。フィギュア
- コピーし、プロファイル名を変更
- 編集mapred-site.xmlには、configureフレームワークモニカ、歴史、部品など
- 編集糸-site.xmlの、設定情報関連のResourceManager
- 編集奴隷
- コンフィギュレーション・マッピング情報
- それは複数の仮想マシンである場合は、他の仮想マシンに送信されたHadoopのディレクトリを設定することができます
- 各マシンの設定環境変数
- sshのフリー着陸の設定、無料の着陸は、SSHキーを生成します
- サービスの名前ノードのフォーマットのHadoop
- スタートサービスビュー
- 閲覧することで、Web UIと糸HDFSクラスタは正常です
暖かい提案:私はここにオプトインディレクトリを置く:あなたのような、固定ディレクトリにすべてのコンポーネントをインストールすることができます。
/opt
次のオプト、解凍にアップロードHadoopのアーカイブ
tar -zxvf /software/hadoop-2.7.2.tar.gz -C /opt/
いくつかの設定変更を行うには、次のパスを入力します./hadoop-2.7.2/etc/hadoop/
編集hadoop-env.shは独自のパスのJDKを設定します
編集コア-site.xmlのは、IPの設定は、ポートは、サイズのバッファのファイルを読み込みます
<!--配置HDFS文件系统的命名空间-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://houda这里写自己的ip或者用户名:9000</value>
</property>
<!--HDFS读取文件的缓冲大小-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
編集HDFS-site.xmlのは、コピー枚数を設定するというように。フィギュア
ユーザーの名前の内部は独自に変更されました
<!--配置hdfs文件系统的副本数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--指定hdfs文件系统的元数据存放目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoopdata/dfs/name</value>
</property>
<!--指定hdfs文件系统的数据块存放目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoopdata/dfs/data</value>
</property>
<!--配置HDFS的web管理地址-->
<property>
<name>dfs.http.address</name>
<value>houda:50070</value>
</property>
<!--配置secondaryNamenode的web管理地址-->
<property>
<name>dfs.secondary.http.address</name>
<value>houda02:50090</value>
</property>
<!--配置是否打开web管理-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!--指定hdfs文件系统权限是否开启-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
コピーし、プロファイル名を変更
cp mapred-site.xml.template mapred-site.xml
編集mapred-site.xmlには、configureフレームワークモニカ、歴史、部品など
<!--指定mapreduce运行的框架名-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<!--配置mapreduce的历史记录组件的内部通信地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>houda:10020</value>
</property>
<!--配置mapreduce的历史记录服务的web管理地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>houda:19888</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxmaps</name>
<value>9</value>
</property>
<property>
<name>mapreduce.job.ubertask.maxreduces</name>
<value>1</value>
</property>
編集糸-site.xmlの、設定情報関連のResourceManager
<!-- Site specific YARN configuration properties -->
<!--指定resourcemanager所启动服务的主机名/ip-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>houda</value>
</property>
<!--指定mapreduce的shuffle处理数据方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--配置resourcemanager内部通讯地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>houda:8032</value>
</property>
<!--配置resourcemanager的scheduler组件的内部通信地址-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>houda:8030</value>
</property>
<!--配置resource-tracker组件的内部通信地址-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>houda:8031</value>
</property>
<!--配置resourcemanager的admin的内部通信地址-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>houda:8033</value>
</property>
<!--配置yarn的web管理地址-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>houda:8088</value>
</property>
<!--yarn的聚合日志是否开启-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--聚合日志报错hdfs上的时间-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
<!--聚合日志的检查时间段-->
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>3600</value>
</property>
<!---->
<property>
<name>yarn.nodemanager.log.retain-seconds</name>
<value>10800</value>
</property>
<!--当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)-->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/opt/hadoopdata/logs</value>
</property>
編集奴隷
奴隷仮想マシンのホスト名を書面で、複数の仮想マシンがあり、ホスト複数の仮想マシンの名前を書く
私の側にテスト
コンフィギュレーション・マッピング情報
vim /etc/hosts
それは複数の仮想マシンである場合は、他の仮想マシンに送信されたHadoopのディレクトリを設定することができます
scp /opt/hadoop-2.7.2/ root@192.168.8.121 /opt/
各マシンの設定環境変数
vim /etc/profile
sshのフリー着陸の設定、無料の着陸は、SSHキーを生成します
ssh-keygen -t rsa (无脑敲四个回车)
このコマンドの完了が実行された後、// 2つのファイルが生成されるid_rsaと(プライベート)、id_rsa.pub(公開鍵)
//を使用すると、マシン上の着陸避けたい公開鍵をコピー
側が注意する必要があります。複数の仮想マシンを、あなた我々はいくつかを送信する必要があります
ssh-copy-id ody
サービスの名前ノードのフォーマットのHadoop
hadoop namenode -format
スタートサービスビュー
start-all.sh
閲覧することで、Web UIと糸HDFSクラスタは正常です