搭建环境Centos7&mac os

搭建环境Centos7&mac os 单机版差不多一样的
之前搭建的时候很多内容比较的杂乱，思路也不清晰，今天重写搭建一个顺便记录下来

1.安装java环境，本人用的是jdk1.8，具体环境搭建不做介绍

[root@VM_81_197_redhat ~]# java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

2.ssh环境：

[root@VM_81_197_redhat tools]# rpm -qa | grep ssh
libssh2-1.4.3-10.el7_2.1.x86_64
openssh-6.6.1p1-35.el7_3.x86_64
openssh-clients-6.6.1p1-35.el7_3.x86_64
openssh-server-6.6.1p1-35.el7_3.x86_64

我有，就不介绍安装了

3.安装hadoop
3.1网址：

https://mirrors.cnnic.cn/apache/hadoop/common/

3.2下载，本着多年江湖经验，绝对，绝对不要下载最新版本，怎么吹我都不信，王八念经，不听不听，出了错都找不到怎么解决。直觉告诉我，就下载2.7.5的吧

wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

3.3配置文件
3.3.1 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/tate/work/file/bigbata/hadoop-2.7.5/hadoopdata</value>
    </property>
</configuration>

3.3.2 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.3.3 mapred-site.xml(注：mapred-site.xml.template把名字改成mapred-site.xml，建议复制后修改，保留源文件)

<configuration>
    <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property> 
</configuration>

3.3.4 yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
     <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
</configuration>

4 运行试试看

4.1 配置环境：/etc/profile 文件修改：

HADOOP_HOME="/XXXXXXXX/hadoop-2.7.5"
PATH="$HADOOP_HOME/bin"

退出过后刷新一下：

source /etc/profile

试着在命令行输入命令，表示生效了

$ hadoop version
Hadoop 2.7.5

4.2 初始化namenode：刷刷一大片

cd $HADOOP_HOME
hadoop-2.7.5 tate$ hdfs namenode -format

4.3 启动hdfs:多次yes，多次输入你的密码

hadoop-2.7.5 tate$ sbin/start-dfs.sh

4.4 启动yarn

hadoop-2.7.5 tate$ sbin/start-yarn.sh

5.观看页面，网页输入：

http://localhost:50070/
http://localhost:8088/cluster

画面出来了，证明配置好了！
其实也可以直接开启和关闭

hadoop-2.7.5 tate$ sbin/start-all.sh 
hadoop-2.7.5 tate$ sbin/stop-all.sh

搭建环境Centos7&mac os

猜你喜欢