hadoop之虚拟机搭建

- 本文主要进行以下步骤的完成：搭建整体集群的环境，主要是四台虚拟机，然后安装jdk,安装hadoop，安装运行hdfs。

搭建集群环境：
（1）新建虚拟机：
模板机配置：
配置主机名： vi /etc/sysconfig/network
配置别名：vi /etc/hosts
配置IP地址：vi /etc/sysconfig/network-scripts/ifcfg-eth0
（2）克隆虚拟机:
修改虚拟机配置：
恢复网卡：vi/etc/udev/rules.d/70-persisent-net.rules
修改主机名：vi /etc/sysconfig/network
改IP地址配置文件：vi /etc/sysconfig/network-scripts/ifcfg-eth0
（3）关闭防火墙：
临时关闭防火墙：service iptables stop
永久关闭防火墙：chkconfig iptables off
（4）重启：reboot
（5）在本机文件中修改别名：C:\Windows\System32\drivers\etc \hosts
验证集群搭建结果：通过ping方法进行验证/flowchart.js/

安装JDK：
（1）下载JDK---------->上传安装包（SecureFX）
（2）安装：通过tar -zxvf 进行解压
（3）配置环境变量： vi /etc/profile 在文件的最后，加入：

export JAVA_HOME=/root/apps/jdk1.8.0_60
export PATH=$PATH:$JAVA_HOME/bin

（4）进入bin中source /etc/profile使配置生效
（5）检验：在任意目录下输入命令： java -version 看是否成功执行
（6）将安装好的jdk目录用scp命令拷贝到其他机器
（7）将**/etc/profile配置文件也用scp命令拷贝到其他机器并分别执行source**命令
安装hadoop：
（1）上传hadoop安装包到hdp-01
（2）解压即安装: tar -zxvf hadoop-2.8.5.tar.gz -C apps/
删除压缩包: rm –rf hadoop-2.8.5.tar.gz
删除doc文件夹, 里面的内容, 不需要: rm -rf share/doc/
（3）修改配置文件：
修改hadoop-env.sh ：export JAVA_HOME=/root/apps/jdk1.8.0_60
修改core-site.xml ：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-01:9000/</value>
</property>
</configuration>

修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hdpdata/name/</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hdpdata/data</value>
</property>
</configuration>

修改HADOOP_HOME和PATH环境变量：vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_60
export HADOOP_HOME=/root/apps/hadoop-2.8.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（4）拷贝整个hadoop安装目录到其他机器

scp -r /root/apps/hadoop-2.8.5 hdp-02:/root/apps/
scp -r /root/apps/hadoop-2.8.5  hdp-03:/root/apps/
scp -r /root/apps/hadoop-2.8.51  hdp-04:/root/apps/

scp /etc/profile hdp-02:/etc/ … ----->source /etc/profile
（5）启动HDFS：
初始化namenode的元数据目录：hadoop namenode -format
启动namenode进程（在hdp-01上）：hadoop-daemon.sh start namenode
启动众datanode们（在任意地方）：hadoop-daemon.sh start datanode
（6）验证：在windows中用浏览器访问namenode提供的web端口：http://hdp-01:50070
用自动批量启动脚本来启动HDFS:
免密设定：

（1）ssh-keygen
（2） ssh-copy-id hdp-01    ssh-copy-id hdp-02    ssh-copy-id hdp-03   ssh-copy-id hdp-04

（3）配完免密后，可以执行一次 ssh 0.0.0.0
（4）修改hadoop安装目录中**/etc/hadoop/slaves**（把需要启动datanode进程的节点列入）

hdp-01
hdp-02
hdp-03
hdp-04

（5）在hdp-01上用脚本：start-dfs.sh 来自动启动整个集群
（6）如果要停止，则用脚本：stop-dfs.sh

hadoop之虚拟机搭建

猜你喜欢