一、配置ssh localhost
因为安装hadoop需要远程登录的功能,所以需要安装ssh工具,但是mac就不需安装了,只需要在 ”系统偏好配置”的 ”共享“ 勾选”远程登录”就可以使用ssh了。
测试 还是需要输入密码。配置免密码登录
在终端中依次输入如下代码配置SSH免密码登陆:
解释:
第一行:ssh -keygen 代表生成密钥,-t代表指定生成的密钥类型,dsa代表dsa密钥认证的意思(密钥类型);-P用于提供密语,-f 指定生成的密钥文件
第二行:将公钥加入到用于认证的公钥文件中
测试:
*MacBookPro:~ hanyk$ ssh localhost
Last login: Fri Sep 22 18:15:53 2017*
二 下载hadoop:
首先验证是否已经安装
hadoop version
如果已经安装在系统上,会得到如下显示
MacBookPro:~ hanyk$ hadoop version
Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /Users/hanyk/Downloads/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
若不存在进行 下载 hadoop http://mirror.bit.edu.cn/apache/hadoop/common/
解压到指定目录:/Users/hanyk/Downloads/hadoop-2.6.0
三:配置伪分布式
步骤1:设置hadoop
通过 vim ~/.bash_profile
export HADOOP_HOME=/Users/hanyk/Downloads/hadoop-2.6.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source ~/.bash_profile
步骤2:hadoop配置
cd $HADOOP_HOME/etc/hadoop
core-site.xml
core-site.xml
文件中包含的信息,如使用Hadoop实例分配给文件系统的存储器,用于存储数据的内存限制的端口号,以及读/写缓冲器的大小。
打开core-site.xml文件并在,标签之间添加以下属性。
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
hdfs-site.xml 文件中包含的信息,如复制数据的值,名称节点的路径,本地文件系统的数据节点的路径。
我们假定有以下数据。
dfs.replication (data replication value) = 1
(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
打开这个文件,并在此文件中的标签之间添加以下属性。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value >
</property>
</configuration>
注:在上面的文件,所有的属性值是用户定义的,可以根据自己的Hadoop基础架构进行更改。
yarn-site.xml
此文件用于配置yarn到Hadoop。打开yarn-site.xml文件,并在此文件中的
<configuration></configuration>标签之间添加以下属性。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
此文件用于指定我们正在使用的MapReduce框架。缺省情况下,包含 yarn-site.xml模板。缺省情况下,包含yarn-site.xml模板。首先,需要将文件从mapred-site.xml复制。模板mapred-site.xml文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml文件,并在在此文件中的标签之间添加以下属性。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
四 验证Hadoop的安装
下面的步骤被用来验证Hadoop的安装。
步骤1:名称节点设置
使用命令“hdfs namenode -format”设置名称节点如下。
$ cd ~
$ hdfs namenode -format
步骤2:验证hadoop dfs
下面的命令用来启动dfs。执行这个命令将开始启动Hadoop文件系统。
$ start-dfs.sh
期望的输出如下所示:
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]
步骤3:验证Yarn脚本
下面的命令用来启动yarn脚本。执行此命令将启动yarn守护进程。
$ start-yarn.sh
期望的输出如下所示:
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
步骤4:在浏览器访问Hadoop
访问Hadoop的默认端口号为50070.使用以下网址,以获取浏览器Hadoop服务。
http://localhost:50070/
步骤5:验证集群的所有应用程序
访问集群中的所有应用程序的默认端口号为8088。使用以下URL访问该服务。
http://localhost:8088/
到此hadoop已经安装完成。后续工作咱们下次介绍。