学Hadoop之前的环境准备

一.ip配置

ip addr   ens33中有mac地址

/etc/sysconfig/network-scripts中有个ifcfg-eth0文件

将HWADDR,IPADDR,GATEWAY配成自己的mac和ip

/etc/hosts    可增加两个映射

192.168.198.10 hadoop000

192.168.198.10 localhost

二.资源下载

使用的Hadoop相关版本：CDH（Cloudera’s Distribution Including Apache Hadoop（CDH））

CDH相关软件包下载地址：http://archive.cloudera.com/cdh5/cdh/5/

Hadoop使用版本：hadoop-2.6.0-cdh5.15.1
Hive使用版本：hive-1.1.0-cdh5.15.
JDK版本：jdk-8u91-linux-x64.tar.gz

三.安装java

拷贝本地软件包到服务器：scp jdk-8u91-linux-x64.tar.gz [email protected]:~/software/

解压jdk到~/app/：tar -zvxf jdk-8u91-linux-x64.tar.gz -C ~/app/

把jdk配置系统环境变量中： ~/.bash_profile

扫描二维码关注公众号，回复： 11551061 查看本文章

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

export PATH=$JAVA_HOME/bin:$PATH

使得配置修改生效：source .bash_profile

验证：java -version

四.免密登录

ls -la 并没有发现一个.ssh的文件夹

ssh-keygen -t rsa 一路回车

cd ~/.ssh

[hadoop@hadoop000 .ssh]$ ll

总用量 12

-rw------- 1 hadoop hadoop 1679 10月 15 02:54 id_rsa 私钥

-rw-r--r-- 1 hadoop hadoop 398 10月 15 02:54 id_rsa.pub 公钥

-rw-r--r-- 1 hadoop hadoop 358 10月 15 02:54 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

五.Hadoop目录

bin：hadoop客户端名单

etc/hadoop：hadoop相关的配置文件存放目录

sbin：启动hadoop相关进程的脚本

share：常用例子

六.修改Hadoop配置文件

添加HADOOP_HOME/bin到系统环境变量

hadoop-env.sh

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop000:8020</value>

</property>

hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/app/tmp</value>

</property>

slaves

hadoop000