仕事への準備ができて1、

1.1仮想マシンは、ホスト名を取ります。そして、コンフィギュレーション・ホスト。あなたが勝つと例の共同開発を行うと、hostsファイルを獲得したい場合は、同じドメイン名のマッピングを行います。

＃127.0.0.1はlocalhost localhost.localdomainをlocalhost4 localhost4.localdomain4 
＃:: 1 localhostのlocalhost.localdomainをlocalhost6 localhost6.localdomain6 
192.168.241.128マスター

1.2無料密度を行います

[ルートマスターオプト@]＃にssh-keygenは-t rsaの

[ルートマスターオプト@]＃sshをコピー-ID -iの〜/ .ssh / id_rsa.pubルートマスター@ 

[ルートマスターオプト@]＃sshをルートマスター@

1.3インストールDK

vimのは/ etc / profile

輸出JAVA_HOME =は/ usr / local / javaの/ jdk1.8.0_221 
輸出CLASSPATH =。$ JAVA_HOME / libに/ tools.jarの：$ JAVA_HOME / libに/ dt.jar 
輸出PATH = $ JAVA_HOME / binに：$ PATHに

2、Hadoopの

プロファイル

hadoop-env.sh

輸出JAVA_HOME =は/ usr / local / javaの/ jdk1.8.0_221

コア-site.xmlに

<プロパティ> 
  <名前> fs.defaultFS </名前> 
  <値> HDFS：//マスター：9000 </ value>の
</ property>の

<プロパティ> 
  <名前> hadoop.tmp.dir </名前> 
  <値> / OPT / Hadoopの-2.7.7を/ tmp </ value>の
</ property>の

HDFS-site.xmlの

  <プロパティ> 
     <名前> dfs.replication </名前> 
     <値> 1 </ value>の
  </ property>の

  <プロパティ> 
     <名前> dfs.permissions </名前> 
     <値>偽</ value>の
  </ property>の

maper-site.xmlに

  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>

yarn-site.xml

  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>master</value>
  </property>


  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>

环境变量

export HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

格式化namenode。一旦格式化后，不能重复格式化。

[root@master ~]# hdfs namenode -format

启动

start-all.sh

[root@master ~]# start-all.sh 
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-namenode-master.out
localhost: starting datanode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-datanode-master.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.7.7/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-resourcemanager-master.out
localhost: starting nodemanager, logging to /opt/hadoop-2.7.7/logs/yarn-root-nodemanager-master.out
[root@master ~]# jps
4081 DataNode
4853 Jps
4728 NodeManager
4409 ResourceManager
3947 NameNode
4252 SecondaryNameNode

验证

http://master:50070/ ，这是 hdfs（hadoop）的 web页面。

http://master:8088/ ，是yarn 资源调度的web页面。

开启历史服务器

yarn.site.xml

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

maper-site.xml

  <!-- 设置jobhistoryserver 没有配置的话 history入口不可用 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>

  <!-- 配置web端口 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>

  <!-- 配置正在运行中的日志在hdfs上的存放路径 -->
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
  </property>

  <!-- 配置运行过的日志存放在hdfs上的存放路径 -->
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
  </property>

启动， mr-jobhistory-daemon.sh start historyserver ，网页端口号是 19888

参考 https://blog.csdn.net/xiaoduan_/article/details/79689882

Hadoopが疑似分散ビルド環境（Linux）を覚えています

仕事への準備ができて1、

2、Hadoopの

おすすめ