hadoop在centos系统上的伪分布式安装

创建hadoop用户

创建hadoop用户可以使不同用户之间有明确的权限区别，也可使针对hadoop的配置操作不影响其他用户的使用。
>>su root //切换到超级系统管理员,需要输入密码
>>useradd -m hadoop -g root -s /bin/bash //-m 表示添加成员 -g 分配的群组 -s 使用的shell
>>passwd hadoop //给新添加的用户设置密码
>>sudo vim /etc/sudoers //赋予新用户管理员权限 在root下增加如下内容

配置SSH无密码登陆

CentOS 默认已安装了 SSH client、SSH server,如果没有安装，请运行下面命令：
>>sudo yum install openssh-clients
>>sudo yum install openssh-server
>>ssh localhost //测试ssh是否可用
>>exit //如需要输入密码退出
>>cd ~/.ssh/
>>ssh-keygen -t rsa //之后一直按回车
>>cat id_rsa.pub>>authorized_keys
>>chmod 600 ./authorized_keys // 读为4 写2 执行1 即只有读写权限
>>ssh localhost //即可成功登陆

安装java环境

centos默认安装openJDK,只需要配置环境变量即可。
>>vim ~/.bashrc
在打开的文件最后以行添加：
export JAVA_HOME=/usr/lib/jvm/java-x.x.x-openjdk
export PATH=$PATH:$JAVA_HOME/bin
分号:是分隔符，如果少了后一行，运行jps会出现错误。
>>source ~/.bashrc //使修改生效
>>java -version //检查java版本

安装hadoop

Hadoop可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,x.x.x代你下载的版本
强烈建议使用2.x.x版本的，使用最新的版本会出各种问题
>> sudo tar -zxf 你的下载目录 -C /usr/local # 解压到/usr/local中
>> cd /usr/local/
>> sudo mv ./hadoop-x.x.x/ ./hadoop # 将文件夹名改为hadoop
>> sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限
>> cd /usr/local/hadoop
>> ./bin/hadoop version //查看hadoop版本

hadoop伪分布式配置

1、 首先进行环境变量配置

>> gedit ~/.bashrc

在文件的最后边增加如下内容
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
>>source ~/.bashrc //使修改生效

2、配置core-site.xml和hdfs-site.xml。

>>gedit /usr/local/hadoop/etc/hadoop/core-site.xml

//core-site.xml修改如下
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

>>gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

//修改hdfs-site.xml文件如下
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

3、 NameNode格式化

>>cd /usr/local/hadoop/bin/hdfs
>>namenode -format
看到最下面successfully formatted 和Exitting with status 0格式成功

4、 启动守护进程

>>start-dfs.sh
>>jps //查看是否启动成功，启动成功如下图

使用浏览器打开localhost:50070

5、关闭进程

>>stop-dfs.sh

问题总结

无法使用jps命令：原因java环境没有配置完全，别忘了这条语句export PATH=$PATH:$JAVA_HOME/bin
无法打开网页界面：建议使用低版本hadoop，高版本有各种各样的问题。