大数据浅尝辄止第一季--Hadoop集群安装

-----------------------------------------------------------------------------------------------------------------------------------------------------

**第一大部分

-----------------------------------------------------------------------------------------------------------------------------------------------------

****************************************************************************************************
一、安装JDK
    卸载JDK：
    查看已安装JDK版本： rpm -qa | grep jdk
    卸载命令：yum -y remove ————————
    配置/etc/profile
    JAVA_HOME=/usr/jvm/jdk1.8.0_191
    CLASSPATH=$JAVA_HOME/lib/
    PATH=$PATH:$JAVA_HOME/bin
    export PATH JAVA_HOME CLASSPATH
    立即生效： source /etc/profile
    查看JDK版本：java -version
****************************************************************************************************
二、关闭防火墙
    查看防火墙状态：firewall-cmd --state
    启动： systemctl start firewalld
    关闭： systemctl stop firewalld
    查看状态： systemctl status firewalld
    开机禁用： systemctl disable firewalld
    开机启用： systemctl enable firewalld
****************************************************************************************************
三、修改IP

修改 /etc/sysconfig/network-scripts/ifcfg-eno16777736文件

     vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
    #静态IP
    HWADDR=00:0C:29:0B:9A:DB   #物理地址
    ONBOOT=yes                 #开机启动
    BROADCAST=192.168.1.255    #与主机IP一致，后面+255
    IPADDR=192.168.1.100       #前三位与主机IP一致，后为新IP
    NETMASK=255.255.255.0      #与主机一致
    GATEWAY=192.168.1.1        #与主机一致
    重启网络服务：service network restart
    读取日志：cat ？？？？？
****************************************************************************************************
四、配置 /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.198.8.100 master
192.198.8.101 slaver02
192.198.8.102 slaver03
192.198.8.103 slaver04
192.198.8.104 slaver05
****************************************************************************************************
五、配置免密登录
    ssh-keygen #三个确定
    cd ~/.ssh 查看文件
    cat id_rsa.pub >> authorized_keys
    scp authorized_keys root@slaver02:~/.ssh/authorized_keys
    在每一台机器上都如此
    最终累计的authorized_keys分发给每一台机器
****************************************************************************************************

-----------------------------------------------------------------------------------------------------------------------------------------------------

**第二大部分

-----------------------------------------------------------------------------------------------------------------------------------------------------

****************************************************************************************************
一、下载hadoop安装包

http://mirrors.shu.edu.cn/apache/hadoop/common/

在/usr/local 创建Hadoop文件夹

mkdir hadoop

移动安装包：mv hadoop-2.9.2.tar /usr/local/hadoop/
****************************************************************************************************
二、解压hadoop安装包
cd /usr/local/hadoop/

tar -zxvf hadoop-2.9.2
****************************************************************************************************
三、配置环境变量
    vi /etc/profile
    export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
    export PATH=$PATH:HADOOP_HOME/bin
****************************************************************************************************
四、创建文件夹
    mkdir /usr/local/hadoop/name
    mkdir /usr/local/hadoop/data
    mkdir /usr/local/hadoop/temp
****************************************************************************************************
五、配置hadoop文件
    ***********************************************************
    vi /usr/local/hadoop/hadoop-2.9.2/etc/hadoop-env.sh
    添加和修改内容：
    export JAVA_HOME=/usr/jvm/jdk1.8.0_191
    ***********************************************************
    vi /usr/local/hadoop/hadoop-2.9.2/etc/yarn-env.sh
    添加和修改内容：
    export JAVA_HOME=/usr/jvm/jdk1.8.0_191
    ***********************************************************
****************************************************************************************************
六、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml文件
     <property>
     <name>fs.defaultFS</name>
         <value>hdfs://master:9000</value>
     </property>
     
     <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop/temp</value>
     </property>
****************************************************************************************************
七、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml文件

<property>
<name>dfs.replication</name>
   <value>1</value>
</property>

<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop/hadoop-2.9.2/name</value>
   <final>true</final>
</property>

<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop/hadoop-2.9.2/data</value>
   <final>true</final>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
   <value>slaver02:9001</value>
</property>
<property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>
****************************************************************************************************
八、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

****************************************************************************************************
九、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:18141</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
     <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

****************************************************************************************************
十、配置/usr/local/hadoop/hadoop-2.9.2/etc/hadoop/slavers
    slaver02
    slaver03
    拷贝整个hadoop-2.9.2到各个节点上
    scp /usr/local/hadoop/hadoop-2.9.2 slaver02:/usr/local/hadoop/hadoop-2.9.2
    ......
    ......
****************************************************************************************************

-----------------------------------------------------------------------------------------------------------------------------------------------------

**第三大部分

-----------------------------------------------------------------------------------------------------------------------------------------------------

一、格式化namenode
    hdfs namenode -format
****************************************************************************************************
二、启动集群
    ./start-all.sh
    查看进程
    JPS
****************************************************************************************************
三、组件对应进程
    hdfs: namenode, datanode
    address:   master:50070
    yarn: resourecmanager
    address:   master:18088
****************************************************************************************************
四、运行自带的Wordcount
    1. 准备数据。UTF-8的txt文件
    2. 创建HDFS目录
       hadoop fs -mkdir /usr
       hadoop fs -mkdir /usr/input
    3. 上传文件到集群
       hadoop fs -put worddemo.txt /usr/input/
    4. 提交jar包
       hadoop jar /usr/local/hadoop/hadoop-2.9.2/share/mapreduce/hadoop-mapreduce-examples.jar wordcount
       /usr/input/worddemo.txt /usr/output
    5. 在web查看yarn界面显示的任务进程；
****************************************************************************************************
五、集群安装完毕！

大数据浅尝辄止第一季--Hadoop集群安装

猜你喜欢