参考原文:https://medium.com/@nidhinmahesh/getting-started-hadoop-mapreduce-hdfs-and-yarn-configuration-and-sample-program-febb1415f945(需要挂代理访问)
apt (Advantage package tools)
伪分布式:
NameNode:3.x 9870 2.x 50070
secondaryNameNode(NameNode的副本) 9868
DataNode
ResourceManager 8088
NodeManager
Hadoop配置及启动伪分布式过程:
1. 官网下载jdk如1.8并安装
2. Apache官网下载hadoop并且安装
3. 安装ssh(本机默认带的ssh不支持)
1).sudo apt-get install openssh-server
2).生成公钥和私钥(本地使用私钥加密数据,对方主机不要使用公钥进行解密) rsa 算法
ssh-keygen -t ras -P '' -f ~/.ssh/id_rsa (之后再~/.ssh/下面会有 id_rsa私钥 id_rsa.pub 公钥)
3).添加信任主机
cat ~/.ssh/id_rsa.pub >> authorized_keys ( >> 输出重定向)
4).以ssh 登录localhost 第二次就不需要密码了
4.配置*-site.xml
5.NameNode 格式化 : hadoop namenode -format
6.启动dfs start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
7.启动yarn start-yarn.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo
(还可以使用 start-all.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo)
(--config $HADOOP_INSTALL/etc/hadoop_pseuduo 是命令模式携带参数启动伪分布式,如不指定路径,则默认启动单机模式)
(通过配置环境变量,不用写--config $HADOOP_INSTALL/etc/hadoop_pseudo,export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/pseudo)
8.查看启动状态
1) jps
2) http://localhost:9870 名称节点