Hadoop回炉重造篇——Hadoop的安装

SSH的安装

ssh,http://baike.baidu.com/view/16184.tml

-----为什么我们需要安装SSH
为了驻守NameNode 和 JobTracker守护进程的主节点,需要通过SSH协议联络从节点上的DataNode和TaskTracker守护进程。一句话就是主机需要通过某种手段来对从机进行管理和文件的传输,这为了达到这个目的我们需要一个安全的协议进行传输,而SSH满足我们的需求。

SSH为Secure Shell的缩写,为建立在应用层和传输层基础上的安全协议。

SSH是目前比较可靠,专为远程登录会话和其他网络服务提供安全性的协议。其他的远程登录有:Telnet, VNC(图形界面)

SSH提供两种级别的安全验证;
第一种级别(基于口令的安全验证)
通过账号和口令登录到远程主机。所有传输的数据都会被加密。
第二种级别(基于密钥的安全验证)
a. 必须为自己创建一对密钥,并把公共密钥放在需要访问的服务器上。
b. 如果要连接到SSH服务器上,客户端软件就会想服务器发出请求,请求用你的密钥进行安全验证。

SSH的安装

定义公共账号
	Hadoop集群中应该使用同一个账号
验证SSH安装
	a. which命令-用于显示shell命令的完全路径
	b. (Ubuntu) apt-get install ssh
	c. [其他方式] rpm,源代码. http://www.openssh.org/

配置SSH

生成密钥
a. rsa|dsa|ecdsa-可以选择采用不同的加密算法
b. ssh-keygen -t rsa -P   "  -f ~/.ssh/id_rsa

补SSH命令
a. ssh 登录远程主机
b. ssh-keygen生成、管理和转换密钥

安装JAVA

解压Hadoop安装包

解压命令:
tar -zxvf … -C …

编辑conf/hadoop-env.sh文件

Hadoop:http://hadoop.apache.org 官方网站

Hdoop的三种运行模式:
1. 本地(单机)模式
2. 伪分布模式
3. 全分布模式

配置文件(常用):
-conf/hadoopenv.sh //配置Hadoop的环境
-conf/core-site.xml:指定HDFS的主机的NameNode
-conf/hdfs-site.xml:HDFS的默认备份数量
-conf/mapred-site.xml:指定JobTracker
-conf/masters:指定master服务器位置
-conf/slaves:指定slave服务器位置

本地(单机)模式:
默认情况下,Hadoop被配置成一个以非分布式模式运行的独立JAVA进程,适合开始时做调试工作.
#配置方式:配置文件为空
conf/core-site.xml
conf/hdfs-site.xml
conf/mapred-site.xml

伪分布模式:
用不同的Java进程模拟分布式运行中各类节点配置文件为空

全分布模式:真正的集群模式

  1. 配置NameNode 和 DataNode
  2. 在所有的机器上简历相同的用户grid
    useradd -s /bin/bash -m grid
    passwd grid
  3. SSH配置
    在所有机器建立.ssh目录 mkdir .ssh
    在CentOSnamenode 上生成密钥 ssh-keygen t rsa

用用户可以根据自己的需求来执行如下命令:
(a)start-all.sh:启动所有的Hadoop守护进程,包括NameNode, DataNode, JobTracker和Tasktrack.
(b)stop-all.sh:停止所有的Hadoop守护进程.
©start-mapred.sh:启动Map/Reduce守护进程,包括JobTracker和Tasktrack
(d)stop-mapred.sh:停止Map/Reduce守护进程
(e)start-dfs.sh:启动Hadoop DFS守护进程,包括NameNode 和 DataNode
(f)stop-dfs.sh:停止DFS守护进程.

插曲:由于前面我没有自己去指定一个name和data的存放的文件夹,但是现在我想自己重新指定,所以想要格式化一遍,所以我又格式化了一遍namenode,然后还需要将原来data存放位置的文件删去,再重新启动datanode,这样就可以了。

启动全部的进程的时候:sbin/start-all.sh

MapReduce的Web页面:http://localhost:50030
HDFS的Web页面:http://localhost:50070
Yarn的页面:http://localhost:8088

发布了179 篇原创文章 · 获赞 1 · 访问量 7557

猜你喜欢

转载自blog.csdn.net/weixin_42596275/article/details/105645518
今日推荐