大数据入门基础二：Hadoop伪分布式搭建过程！

Hadoop伪分布式搭建过程：

　　创建bigdata目录 mkdir /bigdata

　　进入bigdata目录 cd bigdata

　　进入SFTP alt + p

　　把Hadoop安装包拖入SFTP开始上传

　　解压hadoop安装包到当前目录 tar -zxvf hadoop-2.6.5.tar.gz

　　配置hadoop配置文件：

　　进入hadoop的etc目录

　　（1）配置hadoop-env.sh vi hadoop-env.sh

　　　　　　显示行数 :set nu

　　　　　　修改 export JAVA_HOME=/usr/java/jdk1.8.0_151

　　（2）配置core-site.xml vi core-site.xml

　　　　　　配置hdfs的namenode(老大)地址

　　　　　　配置hadoop运行时产生数据的存储目录,不是临时的数据

　　　　　　　　<configuration>

　　　　　　　　<property>

　　　　　　　　<name>fs.defaultFS</name>

　　　　　　　　<value>hdfs://centos001:9000</value>

　　　　　　　　</property>

　　　　　　　　<property>

　　　　　　　　<name>hadoop.tmp.dir</name>

　　　　　　　　<value>/root/bigdata/tmp</value>

　　　　　　　　</property>

　　　　　　　　</configuration>

　　（3）配置hdfs-site.xml vi hdfs-site.xml

　　　　　　指定hdfs存储数据的副本数据量

　　　　　　　　<configuration>

　　　　　　　　<property>

　　　　　　　　<name>dfs.replication</name>

　　　　　　　　<value>1</value>

　　　　　　　　</property>

　　　　　　　　</configuration>

　　（4）重命名mapred-site.xml.template mv mapred-site.xml.template mapred-site.xml

　　　　　　配置mapred-site.xml vi mapred-site.xml

　　　　　　指定mapreduce编程模型运行在yarn上

　　　　　　　　<configuration>

　　　　　　　　<property>

　　　　　　　　<name>mapreduce.framework.name</name>

　　　　　　　　<value>yarn</value>

　　　　　　　　</property>

　　　　　　　　</configuration>

　　（5）配置yarn-site.xml vi yarn-site.xml

　　　　　　指定yarn的老大(ResourceManager)的地址

　　　　　　mapreduce执行shuffle时获取数据的方式

　　　　　　　　<configuration>

　　　　　　　　<property>

　　　　　　　　<name>yarn.resourcemanager.hostname</name>

　　　　　　　　<value>centos001</value>

　　　　　　　　</property>

　　　　　　　　<property>

　　　　　　　　<name>yarn.nodemanager.aux-services</name>

　　　　　　　　<value>mapreduce_shuffle</value>

　　　　　　　　</property>

　　　　　　　　</configuration>

　　进入bin目录查看hdfs命令帮助 ./hdfs

　　对hdfs进行初始化(格式化hdfs) ./hdfs namenode -format

　　启动所有 sbin/start-all.sh（不建议用，用sbin/start-dfs.sh和sbin/start-yarn.sh替换）

　　启动hdfs sbin/start-dfs.sh

　　查看java进程状态 jps

　　网址验证hdfs 192.168.1.100:50070

　　启动yarn sbin/start-yarn.sh

　　网址验证yarn 192.168.1.100:8088