大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

集群规划

主机 IP 安装的软件运行的进程

mini1 192.168.33.61 jdk、hadoop NameNode、ResourceManager、SecondaryNameNode

mini2 192.168.33.62 jdk、hadoop DataNode、NodeManager

mini3 192.168.33.63 jdk、hadoop DataNode、NodeManager

1.准备Linux环境
   1.1先将虚拟机的网络模式选为NAT

   1.2修改主机名
       vi /etc/sysconfig/network

       NETWORKING=yes
       HOSTNAME=mini1 ###修改主机名称

   1.3修改IP
       两种方式：
       第一种：通过Linux图形界面进行修改
           进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.33.61 子网掩码：255.255.255.0 网关：192.168.33.1 -> apply

       第二种：修改配置文件方式
           vi /etc/sysconfig/network-scripts/ifcfg-eth0

           DEVICE="eth0"
           BOOTPROTO="static" ###静态获取
           HWADDR="00:0C:29:3C:BF:E7"
           IPV6INIT="yes"
           NM_CONTROLLED="yes"
           ONBOOT="yes"
           TYPE="Ethernet"
           UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
           IPADDR="192.168.33.61" ###指定IP地址
           NETMASK="255.255.255.0" ###子网掩码
           GATEWAY="192.168.33.1" ###网关

   1.4修改主机名和IP的映射关系
       vim /etc/hosts

       192.168.33.61   mini1

   1.5关闭防火墙
       #查看防火墙状态
       service iptables status
       #关闭防火墙
       service iptables stop
       #查看防火墙开机启动状态
       chkconfig iptables --list
       #关闭防火墙开机启动
       chkconfig iptables off
   1.6 修改sudo
       su root
       vim /etc/sudoers
       给hadoop用户添加执行的权限

   1.7重启Linux
       reboot

2.安装JDK
   2.1上传jdk1.7.0_45.tar.gz

   2.2解压jdk
       #解压
       tar -zxvf jdk1.7.0_45.tar.gz -C /usr/local

   2.3将java添加到环境变量中
       vim /etc/profile
       #在文件最后添加
       export JAVA_HOME=/usr/local/jdk1.7.0_45
       export PATH=$PATH:$JAVA_HOME/bin

       #刷新配置
       source /etc/profile

3.安装hadoop2.6.5
   先上传hadoop的安装包到服务器上去/home/hadoop/apps
   需要修改5个配置文件，配置文件在hadoop-2.6.5/etc/hadoop目录下
   3.1配置hadoop
   第一个：hadoop-env.sh
       vim hadoop-env.sh
       export JAVA_HOME=/usr/java/jdk1.7.0_45

   第二个：core-site.xml

<property>
           <name>fs.defaultFS</name>
           <value>hdfs://mini1:9000</value>
       </property>
       
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/hadoop/hdpdata</value>
</property>

   第三个：hdfs-site.xml
       
       <property>
           <name>dfs.replication</name>
           <value>2</value>
       </property>

       <property>
           <name>dfs.secondary.http.address</name>
           <value>mini1:50090</value>
       </property>

   第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
       mv mapred-site.xml.template mapred-site.xml
       vim mapred-site.xml
       
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>

   第五个：yarn-site.xml
       
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>mini1</value>
       </property>
       
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>

   3.2将hadoop添加到环境变量

   vim /etc/proflie
       export JAVA_HOME=/usr/local/jdk1.7.0_45
       export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   source /etc/profile

   3.3格式化namenode（是对namenode进行初始化）
       hdfs namenode -format (hadoop namenode -format)

   3.4启动hadoop
       先启动HDFS
       sbin/start-dfs.sh

       再启动YARN
       sbin/start-yarn.sh

   3.5验证是否启动成功
       使用jps命令验证
       8161 NameNode
       17416 Jps
       8344 SecondaryNameNode
       13790 ResourceManager

4002 NodeManager
3038 DataNode

       http://mini1:50070 （HDFS管理界面）
       http://mini1:8088 （MR管理界面）

4.配置ssh免登陆
   #生成ssh免登陆密钥
   #进入到我的home目录
   cd ~/.ssh

   ssh-keygen -t rsa （四个回车）
   执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
   将公钥拷贝到要免密登陆的目标机器上
   ssh-copy-id localhost

当前集群mini1需要免登到自己以及mini2，mini3服务器，集群脚本启动的话才不需要手动输入登录密码

大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

猜你喜欢