【大数据系列】之Hadoop伪分布安装

Hadoop伪分布安装

1.创建用户与用户组

创建一个用户，名为momo,并为此用户创建home目录，此时会默认创建一个与momo同名的用户组。

> sudo useradd -d /home/momo -m momo

为momo用户设置密码，执行下面的语句

> sudo passwd momo

给普通用户加超级用户权限的方法

1. 进入超级用户模式。即输入"su",系统会让你输入超级用户密码，输入密码后就进入了超级用户模式。
2. 添加文件的写权限。

> chmod u+w /etc/sudoers

3. 编辑/etc/sudoers文件。即输入命令"vim /etc/sudoers"，找到这一行：“root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) ALL”(这里的xxx是要改的用户名)，然后保存
   

root     ALL=(ALL)   ALL
momo     ALL=(ALL)   ALL 

切换到momo用户下操作

> su - momo

2.配置SSH免密码登录

SSH免密码登录需要在服务器执行以下命令，生成公钥和私钥对

> ssh-keygen -t rsa

接下来都回车操作

此时SSH的公钥和私钥已经生成完毕，且放置在~/.ssh目录下。
切换到~/.ssh目录下创建一文本为authorized_keys，内容与id_rsa.pub一样。

>cd ~/ssh
>cp id_rsa.pub authorized_keys

测试：

> ssh localhost

3.解压安装包

创建两个目录，用于存放安装程序及数据,并更改目录的用户及用户组

> sudo mkdir /apps
> sudo mkdir /data
> sudo chown -R momo:momo /apps
> sudo chown -R momo:momo /data

解压

> tar -zxvf hadoop-2.6.0-cdh5.4.5.tar.gz -C /apps
> tar -zxvf jdk-7u75-linux-x64.tar.gz -C /apps

重命名

> mv hadoop-2.6.0-cdh5.4.5/ hadoop
> mv jdk1.7.0_75/ java

4.配置环境变量

修改/etc/profile文件
添加如下代码：

export HADOOP_HOME=/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

export JAVA_HOME=/apps/java
export PATH=$JAVA_HOME/bin:$PATH

使配置生效

source /etc/profile

测试

5.修改hadoop本身相关的配置

切换到hadoop的安装路径/apps/hadoop下

5.1修改hadoop安装路径下的etc/hadoop/hadoop-env.sh文件

由：

改为：

5.2修改core-site.xml配置文件

> vim /apps/hadoop/etc/hadoop/core-site.xml

添加如下内容：
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/tmp/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://CentOsnode01:9000</value>
    </property>

创建数据存放路径：

mkdir -p /data/tmp/hadoop/tmp

5.3修改hdfs-site.xml配置文件

> vim /apps/hadoop/etc/hadoop/hdfs-site.xml

添加内容如下：
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/tmp/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/tmp/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

创建数据存放目录

mkdir -p /data/tmp/hadoop/hdfs/name
mkdir -p /data/tmp/hadoop/hdfs/data

6.格式化HDFS文件系统，启动Hadoop

//格式化命令
hdfs namenode -format

//启动命令
$/apps/hadoop/sbin/start-all.sh

查看进程数：

jps