二、环境搭建

 

一、环境搭建

1、关闭防火墙

       查看防护墙状态

       service iptables status

       关闭

       service iptables stop     

       查看防火墙开机启动状态

       chkconfig iptables --list

             

       关闭开机启动

              chkconfig iptables off

2、修改IP

如果在没有网的状态下，使用only-host模式，将虚拟机和win配置在同一个网段

vim /etc/sysconfig/network-scrips/ifcfg-eth0

win:192.168.8.100

linux:192.168.8.10 

 重启网卡

/etc/init.d/network restart

3、修改hostname

vim /etc/sysconfig/network

4、增加映射关系

vim /etc/hosts

5、设置ssh自动登录

安装JDK

用共享文件或者工具软件上传到linux

解压软件：             

安装hadoop

在根目录建立一个host01的目录

mkdir /host01

将hadoop解压到host01目录下

tar -zxvf /software/hadoop-2.4.1.tar.gz -C /host01

修改相关配置文件

伪分布式需要修改5个配置文件

6、配置hadoop

       第一个：hadoop-env.sh

              vim hadoop-env.sh

              #第27行

              export JAVA_HOME=/usr/java/jdk1.7.0_65

             

       第二个：core-site.xml

              <!-- 制定HDFS的老大（NameNode）的地址 -->

              <property>

                     <name>fs.defaultFS</name>

                     <value> hdfs://itcast01:9000</value>

              </property>

              <!-- 指定hadoop运行时产生文件的存储目录 -->

              <property>

                     <name>hadoop.tmp.dir</name>

                     <value>/itcast/hadoop-2.4.1/tmp</value>

        </property>

             

       第三个：hdfs-site.xml

              <!-- 指定HDFS副本的数量 -->

              <property>

                     <name>dfs.replication</name>

                     <value>1</value>

        </property>

             

       第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

              mv mapred-site.xml.template mapred-site.xml

              vim mapred-site.xml

              <!-- 指定mr运行在yarn上 -->

              <property>

                     <name>mapreduce.framework.name</name>

                     <value>yarn</value>

        </property>

             

       第五个：yarn-site.xml

              <!-- 指定YARN的老大（ResourceManager）的地址 -->

              <property>

                     <name>yarn.resourcemanager.hostname</name>

                     <value>itcast01</value>

        </property>

              <!-- reducer获取数据的方式 -->

        <property>

                     <name>yarn.nodemanager.aux-services</name>

                     <value>mapreduce_shuffle</value>

        </property>

*相关命令 :

查看ip配置:  ifconfig

查看防火墙状态：service iptables status

主机名:hostname

查看环境变量路径：

echo $JAVA_HOME

/root/software/jdk1.7.0_65

7、将hadoop添加到环境变量

              vim /etc/proflie

              export JAVA_HOME=/usr/java/jdk1.7.0_65

              export HADOOP_HOME=/itcast/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       刷新配置

              source /etc/profile

8、验证是否成功

       1、格式化namenode（是对namenode进行初始化）

              hdfs namenode -format (hadoop namenode -format)

             

       2、启动hadoop

              先启动HDFS

              sbin/start-dfs.sh

             

       3、再启动YARN

              sbin/start-yarn.sh

             

       7、验证是否启动成功

              使用jps命令验证

              27408 NameNode

              28218 Jps

              27643 SecondaryNameNode

              28066 NodeManager

              27803 ResourceManager

              27512 DataNode

      

              http://192.168.8.118:50070 （HDFS管理界面）

              http://192.168.8.118:8088 （MR管理界面）

8、测试上传下载功能

上传：hadoop fs -put /software/hadoop-2.4.1.tar.gz  hdfs://host01:9000/jdk

下载：hadoop fs -get hdfs://host01:9000/jdk /home

9.配置ssh（secure shell）免登陆

       #生成ssh免登陆密钥

       #进入到我的home目录

       cd ~/.ssh

 

       ssh-keygen -t rsa （四个回车）

       执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

       将公钥拷贝到要免登陆的机器上

       cp id_rsa.pub authorized_keys（一定要叫这个名）

 

       [root@host01 sbin]# jps

2958 SecondaryNameNode

2815 DataNode

2730 NameNode

3430 Jps

3212 NodeManager

3124 ResourceManager

 

将公钥拷贝到要免登陆的机器上

ssh-copy-id localhost(ip地址)