大数据基础学习笔记(安装CDH的环境配置)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/madongyu1259892936/article/details/85335143

1.下载软件地址((以centos7.4))
CDH安装包地址:
http://archive.cloudera.com/cdh5/parcels/5.14.0/
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
manifest.json

Cloudera Manager下载地址:
http://archive.cloudera.com/cm5/cm/5/
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el7-cm5.14.0_x86_64.tar.gz

2.网络配置

vim /etc/sysconfig/network


vim /etc/hosts

(内网) 

3.SSH免密匙登录

1.生成RSA秘钥对
   在XShell下方输入框中输入命令ssh-keygen -t rsa,然后回车执行。再回车3次,即可生成RSA秘钥对
 2.查看密钥对文件
   ls .ssh              
   id_rsa 私钥  
   id_rsa.pub 公钥
 3.将每个节点的公钥拷贝到authorized_keys
   可以通过命令ssh-copy-id,将本机公钥复制到其他节点的authorized_keys目录,这样本机即可免秘钥登录其他节点。
      (按照提示输入“yes”和密码,即可将node1的公钥复制到node1、node2和node3节点。(复制本机,可以实现免密登录本机))
      ssh-copy-id node1
      ssh-copy-id node2
      ssh-copy-id node3
      在三个节点都执行
  4.测试免密登录
    ssh node1   
    ssh node2
    ssh node3
    在三个节点中查看ls .ssh ,ll .ssh,cat .ssh/authorized_keys,cat .ssh/known_hosts
  5.退出ssh登录
     exit

4.防火墙关闭

service iptables stop
chkconfig iptables off

(本人是买的阿里云服务器,查看关闭防火墙地址https://www.jianshu.com/p/4a9958d2e859

5.selinux关闭

setenforce 0 (临时生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)

 6.安装jdk1.8,环境变量

JAVA_HOME=/usr/java/jdk1.8.0_161
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

立即生效source /etc/profile

检查是否成功java -version

7.安装NTP

yum install ntp 安装NTP
systemctl enable ntpd.service 自启动
pgrep ntpd //查看相关进程
service ntpd status 查询ntpd的状态
ntpdate -u ntp.sjtu.edu.cn  时间的误差

配置NTP服务(所有节点)
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。
具体思路如下:
master节点作为ntp服务器与外界对时中心同步时间,随后对所有slave节点提供时间同步服务。
所有slave节点以master节点为基础同步时间。
所有节点安装相关组件:yum install ntp。完成后,
配置开机启动:chkconfig ntpd on,检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。

主节点配置
在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。
这里选用0.asia.pool.ntp.org作为对时中心,ntpdate 0.asia.pool.ntp.org。
ntp服务只有一个配置文件(/etc/ntp.conf),配置好了就OK。
 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
server 0.asia.pool.ntp.org prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start
检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:

如果出现异常请等待几分钟,一般等待5-10分钟才能同步。

配置ntp客户端(所有slave节点)
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server node1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

保存退出,请求服务器前,请先使用ntpdate手动同步一下时间:
ntpdate -u node1 (主节点ntp服务器)
启动服务:
service ntpd start

如果时间同步不成功可以看看网址http://blog.itpub.net/26524307/viewspace-1063924/

8.安装mysql

可以参考的《学习hadoop遇到的问题(安装mysql时,密码找不到)》这篇文章

9.下载第三方依赖包
在线安装命令  yum install
需要安装的第三方依赖包
chkconfig
python
bind-utils
psmisc
libxslt
zlib
sqlite
fuse
fuse-libs
redhat-lsb
cyrus-sasl-plain
cyrus-sasl-gssapi
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi

猜你喜欢

转载自blog.csdn.net/madongyu1259892936/article/details/85335143
今日推荐