0、本章学习目录大纲 - 伪分布式环境搭建
初学耗时：1h
注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
一、准备工作
1.1 启动zk。
1.2 上传编译后的Hadoop。
1.3 装有JDK1.8。
二、修改Hadoop配置文件
2.1 hadoop-env. sh
2.2 core-site.xml
2.3 hdfs-site.xml
2.4 mapred-site.xml
2.5 yarn-site.xml
2.6 slaves
五、启动方式
5.1 先格式化。
5.2 单节点逐个启动。
5.3 系统自带脚本启动。
六、集群Web-UI
6.1 Namenode - HDFS
6.2 ResourceManager - YARN
- 1、B02系列全套网盘资源：
B02系列全套网盘资源
提取码：v0ne
一、准备工作
1.1 ~ 启动zk。
1.2 ~ 上传编译后的hadoop。
1.3 ~ 装有JDK1.8。
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
二、修改Hadoop配置文件
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
2.1 ~ hadoop-env. sh
文件中设置的是 Hadoop 运行时需要的环境变量。JAVA_HOME 是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为 Hadoop 即使是在本机上执行，它也是把当前的执行环境当成远程服务器。
vim hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_192/
2.2 ~ core-site.xml
hadoop 的核心配置文件，有默认的配置项 core-default.xml。
…
core-default.xml 与 core-site.xml 的功能是一样的，如果在 core-site.xml 里没有配置的属性，则会自动会获取 core-default.xml 里的相同属性的值。
mkdir -p /export/datas/hadoop/pseudo
<property>
<name>fs.defaultFS</name>
<value>hdfs://zrk691101:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/datas/hadoop/pseudo</value>
</property>
2.3 ~ hdfs-site.xml
HDFS 的核心配置文件，有默认的配置项 hdfs-default.xml。
…
hdfs-default.xml 与 hdfs-site.xml 的功能是一样的，如果在 hdfs-site.xml 里没有配置的属性，则会自动会获取 hdfs-default.xml 里的相同属性的值。
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>zrk691102:50090</value>
</property>
2.4 ~ mapred-site.xml
MapReduce 的核心配置文件，有默认的配置项 mapred-default.xml。
…
mapred-default.xml 与 mapred-site.xml 的功能是一样的，如果在 mapred-site.xml 里没有配置的属性，则会自动会获取 mapred-default.xml 里的相同属性的值。
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.5 ~ yarn-site.xml
YARN 的核心配置文件，有默认的配置项 yarn-default.xml。
…
yarn-default.xml 与 yarn-site.xml 的功能是一样的，如果在 yarnsite.xml 里没有配置的属性，则会自动会获取 yarn-default.xml 里的相同属性的值。
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zrk691101</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.6 ~ slaves
slaves 文件里面记录的是集群主机名。
…
一般有以下两种作用：
1、配合一键启动脚本如 start-dfs.sh、stop-yarn.sh 用来进行集群启动。
这时候 slaves 文件里面的主机标记的就是从节点角色所在的机器。
…
2、可以配合 hdfs-site.xml 里面 dfs.hosts 属性形成一种白名单机制。
dfs.hosts 指定一个文件，其中包含允许连接到 NameNode 的主机列表。
必须指定文件的完整路径名。
如果值为空，则允许所有主机。
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
三、配置Hadoop环境变量
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
四、分发安装包
cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ zrk691102:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ zrk691103:/export/servers
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
五、启动方式
5.1 ~ 先格式化。
cd /export/servers/hadoop-2.6.0-cdh5.14.0
hdfs namenode -format
或
hadoop namenode -format
5.2 ~ 单节点逐个启动。
5.2.1 . 在主节点上使用以下命令启动 HDFS NameNode。
hadoop-daemon.sh start namenode
5.2.2 . 在每个从节点上使用以下命令启动 HDFS DataNode。
hadoop-daemon.sh start datanode
5.2.3 . 在主节点上使用以下命令启动 YARN ResourceManager。
yarn-daemon.sh start resourcemanager
5.2.4 . 在每个从节点上使用以下命令启动 YARN nodemanager。
yarn-daemon.sh start nodemanager
5.2.5 . 停止。
以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的 start 改为 stop 即可。
5.3 ~ 系统自带脚本启动。
5.3.1 . 启动前提。
如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动。所有 Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
5.3.2 . 分类启动与停止。
# 启动
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
# 停止
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
5.3.3 . 完全启动与停止。
$HADOOP_HOME/sbin/start-all.sh
$HADOOP_HOME/sbin/stop-all.sh
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
六、集群Web-UI
一旦 Hadoop 集群启动并运行，可以通过 web-ui 进行集群查看。
6.1 ~ Namenode - HDFS
zrk691101:50070
6.2 ~ ResourceManager - YARN
zrk691101:8088
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
＾ 至此，伪分布式环境搭建完成。
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
※ 世间诱惑何其多，坚定始终不动摇。
主机甲和主机乙间已建立一个TCP连接，主机甲向主机乙发送了两个连续的TCP段，分别包含300字节和500字节的有效载荷，第一个段的序列号为200，主机乙正确接收到两个段后，发送给主机甲的确认序列号是？
…
A、500
B、700
C、800
D、1000
…
D
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。
我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！