hadoop 爱的初体验

------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂
------------->附件图文并茂

环境描述：CentOS-6.5-x86_64-bin-DVD1.iso 
                 hadoop-2.4.0
                 jdk-7u15-linux-x64.tar
客户端：   
Xmanager Enterprise 4
        
先关闭防火墙：service  iptables stop

配置环境变量 （JAVA）：
#mpc add jdk1.7
export JAVA_HOME=/opt/jdk1.7.0_15
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export JAR_HOME=$JAVA_HOME/jre
编译并运行：
配置环境变量（hadoop）：
#mpc add hadoop2.4.0
export HADOOP_HOME=/opt/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

编译、增加可执行权限，并查看版本：
source /etc/profile
chmod a+x bin/hadoop
hadoop version
配置ssh免费密码登录：
参考：

1. cd ~/.ssh     (进入用户目录下的隐藏文件.ssh)
2. ssh-keygen -t rsa   （用rsa生成密钥）
3. cp id_rsa.pub authorized_keys   （把公钥复制一份，并改名为authorized_keys，这步执行完，应该ssh localhost可以无密码登录本机了，可能第一次要密码）
4. scp authorized_keysqiuchenl@qiuchenl1：/home/qiuchenl/.ssh  （把重命名后的公钥通过ssh提供的远程复制文件复制到从机qiuchenl1上面）
5. chmod 600 authorized_keys    （更改公钥的权限，也需要在从机qiuchenl1中执行同样代码）
6. ssh qiuchenl1  （可以远程无密码登录qiuchenl1这台机子了，注意是ssh不是sudo ssh。第一次需要密码，以后不再需要密码）



如果root工作目录下没有.ssh目录，用root用户在主机上登陆一次即可生成。

将authorized_keys文件复制到其他三台机器上：
命令：scp authorized_keys  [email protected]:/home/.ssh
查看其他三台是否拷贝完成，并修改权限：
拷贝完成后未修改权限居然也可以，可能是root的缘故吧。
为了保险起见，我还是将从机的权限修改了：chmod 600 authorized_keys

修改各个机器上的hostname：
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=slave1

NETWORKING=yes
HOSTNAME=slave2

NETWORKING=yes
HOSTNAME=slave3

修改网络映射：
vim /etc/hosts

并分别拷贝到各个从机上：
修改配置文件：


将配置好的hadoop复制到其他三台从机上：

scp -r hadoop-2.4.0/ slave3:/opt/
scp -r jdk1.7.0_15/  slave3:/opt/

环境变量也ｓｃｐ

在从机上source /etc/proflie
插播广告：java群 ：84436262

格式化：
将hadoop2.4.0版本下所有的文件权限增加执行权限：
chmod a+x /opt/hadoop-2.4.0
chmod a+x /opt/hadoop-2.4.0/bin/*
chmod a+x /opt/hadoop-2.4.0/sbin/*.sh
hadoop namenode -format


启动：start-all.sh
如果中途报错 ，无法找到或者设置JAVA_HOME;
请讲jdk配置到  ~/.bashrc 文件内。

master：

    


插播广告：JAVA/J2EE/ORACLE/MYSQL/HADOOP 群 ：84436262



创建目录、上传文件：
创建数据目录：hadoop fs -mkdir /hadoop20150610
上传文件： hadoop fs -put /root/install.log.syslog  /hadoop20150610


文件浏览：

workcount：

产看文件列表：hadoop fs -ls /hadoop20150610/output/
查看结果： hadoop fs -cat /hadoop20150610/output/part-r-00000