hadoop笔记第一天

1:安装虚拟机（略）

2:安装必要的环境：安装jdk

3:安装hadoop

   3.1上传hadoop包

   3.2解压hadoop包

         首先在目录~创建一个app目录

        mkdir /app

        解压：

        tar -zxvf hadoop-1.1.2.tar.gz -C /app/

[hadoop@hadoop001 hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 bin
drwxrwxr-x. 4 hadoop hadoop  4096 Jul  6 16:32 data
drwxr-xr-x. 3 hadoop hadoop  4096 Jun 20  2014 etc
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 include
drwxr-xr-x. 3 hadoop hadoop  4096 Jun 20  2014 lib
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 Jun 20  2014 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop  4096 Jul  7 15:52 logs
-rw-r--r--. 1 hadoop hadoop   101 Jun 20  2014 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop  1366 Jun 20  2014 README.txt
drwxr-xr-x. 2 hadoop hadoop  4096 Jun 20  2014 sbin
drwxr-xr-x. 4 hadoop hadoop  4096 Jun 20  2014 share

bin :执行的脚本

etc:配置文件

share：jar包

doc：文档（可以是删除rm-rfdoc）

lib:本地库

include:跟本地库相关的文件

  3.3配置hadoop伪分布式（要修改4个文件）

第一个：hadoop-env.sh

export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

第二个：core-site.xml(启动时)

<configuration>
        <!-- 指定HDFS的namenode的通信地址 -->
        <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoop001:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存放目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.4.1/data/</value>
        </property>
</configuration>

第三个：hdfs-site.xml

<configuration>
        <!-- 配置HDFS副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

第四个：mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

第五个：yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

3.4将hadoop添加到环境变量

      

3.5格式化HDFS

         hadoop namenode -format

3.6启动hadoop

         start-all.sh

3.7验证集群是否启动成功(有这5个就可以)

[hadoop@hadoop001 hadoop-2.4.1]$ jps
2750 SecondaryNameNode
2887 ResourceManager
2483 NameNode
3926 Jps
2570 DataNode
3109 NodeManager

配置ssh免登陆（登录分为密码登录和秘钥登录，如果不配置秘钥，默认的采用密码登录）

生成ssh免登陆密钥

ssh-keygen -t rsa

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

有疑问欢迎邮箱提问：

[email protected]