版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
- 前期准备.
- 对虚拟机的网络和ip进行设置
- 使用root用户进入操作系统
- 关闭防火墙-
- chkconfig iptables off
- 禁用selinux
- vim /etc/sysconfig/selinux
- 将SELINUX设置为disabled
- 修改主机名
- vim /etc/sysconfig/network
- HOSTNAME=hadoop
- 修改机名与ip的对应关系
- vim /etc/hosts
- 新开一行并添加 格式为(IP 机名)
- 重启
- reboot
- ssh免密钥登录
- ssh-keygen -t rsa(之后连续按回车)
- ssh-copy-id ip地址(之后连续按回车)
- 创建不同的目录
- cd /home
- rm -rf hadoop
- mkdir data softwares tools
- cd softwares
- mkdir java8
- 配置JDK
- 安装文件导入软件
- yum -y install lrzsz
- cd /home/tools
- 选中JDK1.8并添加
- 将添加的JDK解压到softwares/java8
- tar -zxf JDK -C ../sortwares/java8
- cd ../softwares/java8
- pwd 将路径进行复制
- vim /etc/profile
- 在最后一行添加
- export JAVA_HOME=之前复制的java8路径
- export PATH=$PATH:$JAVA_HOME/bin
- source /etc/profile
- java -version
- 安装文件导入软件
- 配置 apache-maven(3.6.1) + protobuf(3.1.0) + findbugs(3.0.1)
- 返回到tools目录下
- cd /home/tools
- 上传上述三个压缩包
- rz
- 对压缩包进行解压
- tar -zxf xxxx -C ../softwares
- cd ../softwares
- apache-maven和findbugs配置过程和JDK相同
- 配置protobuf
- 进入到该软件目录下
- 运行 ./configure 进行查看
- yum -y install automake libtool cmake ncurses_devel openssl-devel lzo-devel zlib-devel gcc gcc-c++
- 再一次运行 ./configure
- make install 等待安装完成
- 返回到tools目录下
- 配置文件
- 用notepad++与服务器建立连接
- 在hadoop-env.sh将export JAVA_HOME设置为/home/softwares/java8
- 在core-site.xml添加
- <property><name>fs.defaultFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.9.2/data/tmp</value></property>
- 在hdfs-site.xml添加
- <property><name>dfs.replication</name><value>1</value></property>
- 在hadoop目录下创建一个data/tmp文件夹
- mkdir -p data/tmp
- 格式化文件系统
- bin/hdfs namenode -format
- 运行文件系统
- sbin/start-dfs.sh
- 配置yarn
- 修改mapred-site.xml
- <property><name>mapreduce.framework.name</name><value>yarn</value></property>
- 修改yarn-site.xml
-
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
- 启动yarn
- sbin/start-yarn.sh
-
- 修改mapred-site.xml