大数据集群准备工作

准备工作
1、关闭防火墙/etc/init.d/iptables stop
chkconfig iptables off
2、关闭selinux
3、修改主机名
4、ssh无密码拷贝数据
特别说明（在主节点无密码访问到从节点）
ssh-keygen
ssh-copy-id 192.168.100.201
ssh-copy-id 192.168.100.202
ssh-copy-id 192.168.100.203

5、设置主机名和IP的对应
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost
localhost.localdomain localhost6 localhost6.localdomain6 192.168.100.201 node01 192.168.100.202 node02
192.168.100.203 node03

6、jdk1.8 安装

大数据集群安装部署

1、大数据安装包上传解压
2、配置hadoop环境变量
新建文件/etc/profile.d/hadoop.sh，编译一下内容分
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 export PATH=$PATH:$HADOOP_HOME/bin
3、修改hadoop系统配置文件（在讲义中复制粘贴）
core-site.xml Hadoop的核心配置文件
hdfs-site.xml 存储组件的核心配置文件
mapred-site.xml 计算组件的核心配置文件
yarn-site.xml 资源调度的核心配置文件
4、验证hadoop支持哪些算法
./hadoop checknative

若openssl 不支持，则需要安装
yum -y install openssl-devel

5、安装包分发
scp -r hadoop-2.6.0-cdh5.14.0 node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0 node03:$PWD
6、hadoop环境变量配置分发
scp -r /etc/profile.d/hadoop.sh node02:/etc/profile.d/
scp -r /etc/profile.d/hadoop.sh node03:/etc/profile.d/
7、集群格式化（在主节点，hadoop的安装路径下 bin里）
./hdfs namenode -format