hadoop大数据环境部署--linux centos虚拟机

需要版本:
jdk:jdk-7u79-linux-x64.tar.gz
hadoop:hadoop-2.5.0-cdh5.3.6.tar.gz

1.创建hadoop用户
useradd -m hadoop -G root -s /bin/bash
2.赋予hadoop用户最高权限
chmod 777 hadoop
--记得给hadoop设置密码
passwd hadoop
hadoop
3.切换hadoop用户
su hadoop
4.查看主机名 
hostname 
如果不是当前的主机名,则需要修改:   vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=king
5.ping king看是否链接通
6.密钥公钥-  
ssh-keygen -t rsa 
一路回车,出现如下图示时候:成功
The key's randomart image is:
+--[ RSA 2048]----+
|    .=. . .o*o   |
|    . o. = ...   |
|       .+..o     |
|       ...+.     |
|        S.+ . .  |
|       o o . . . |
|      .     . .  |
|           . .   |
|          E      |
+-----------------+
7.cd
pwd
ls-al
找到.ssh隐藏文件
8.
[hadoop@king ~]$ cd .ssh/
[hadoop@king .ssh]$ ls
id_rsa  id_rsa.pub
其中有两个文件
9.
cat id_rsa.pub > authorized_keys
ls
现有三个文件
10.
sudo chmod 600 authorized_keys
输入hadoop用户密码即可
11.尝试免密码登陆
ssh king
12.生成的konw_hosts其中保存的是登陆ip地址的信息
13.如果是有多态分布是机器
密钥需要追加到authorized_keys中;
cp id_rsa.pub id.rsa.king2.pub
cat id_rsa.king2.pub>>authorized_keys


#安装jdk
7U79-linux-x64
1.home/hadoop/bigdater/softs
其中softs用来存放压缩包 :jdk-7u79-linux-x64.tar.gz  hadoop-2.5.0-cdh5.3.6.tar.gz
cd 到bigdater目录
tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
创建软连接:
sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79/ /usr/local/jdk

2.设置环境变量
vim ~/.bash_profile
添加:
#jdk
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bash_profile

3.查看是否安装成功
java -version

#hadoop安装
1.
tar -zxvf softs/hadoop路径

cd hadoop文件路径
mkdir hdfs

2.开始配置文件 都在etc/hadoop中
2.1 vim hadoop-env.sh
#把原来的注释掉
export JAVA_HOME=/usr/local/jdk
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
#进程id的保存路径,一般生产环境需要修改
#保存 esc --shift zz
#查看是否报错
cd /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/etc/hadoop

2.2 vim mapred-env.sh
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp

2.3 vim yarn-env.sh
export YARN_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp

2.4 vim core-site.xml

      <property>
             <name>fs.defaultFS</name>
             <value>hdfs://king</value>
      </property>
      
      <property>
             <name>hadoop.tmp.dir</name>
             <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>
      </property>

2.5 vim hdfs-site.xml

      <property>
             <name>dfs.replication</name>
             <value>1</value>
#参数因子
      </property>
      
      <property>
             <name>dfs.namenode.name.dir</name>
             <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
      </property>
      
      <property>
             <name>dfs.namenode.data.dir</name>
             <value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
      </property>
#非必须,权限验证     
      <property>
             <name>dfs.permission.enabled</name>
             <value>false</value>
      </property>
      
      
2.6 vim mapred-site.xml--如果没有 先创建 cp mapred-site.xml.template mapred-site.xml

      <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
#默认是local
      </property>
      
2.7 vim yarn-site.xml

      <property>
             <name>yarn.nodemanager.aux-services</name>
             #给定服务名称
             <value>mapreduce_shuffle</value>
      </property>
      
      <property>
             <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
             <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      
      <property>
             <name>yarn.log-aggregation-enable</name>
             #打印日志
             <value>true</value>
      </property>
      
      
2.8 vim slaves 
存放datanode的节点的主机名
修改为king

2.9 配置hadoop环境变量
vim ~/.bash_profile


#hadoop
export HADOOP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.10 source ~/.bash_profile

2.11 hadoop version
看是否安装成功

猜你喜欢

转载自blog.csdn.net/weixin_40752430/article/details/84892274