hadoop单机,伪分布式,完全分布式搭建

1.1、单机模式(独立模式)(Local或Standalone  Mode)

  -默认情况下,Hadoop即处于该模式,用于开发和调式。

  -不对配置文件进行修改。
  -使用本地文件系统,而不是分布式文件系统
  -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的
  -用于对MapReduce程序的逻辑进行调试,确保程序的正确

1.2、伪分布式模式(Pseudo-Distrubuted Mode)

  -Hadoop的守护进程运行在本机机器,模拟一个小规模的集群 

  -在一台主机模拟多主机
  -Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程
  -在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,

    以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。
  -修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)
  -格式化文件系统

1.3、全分布式集群模式(Full-Distributed Mode)

  -Hadoop的守护进程运行在一个集群上 

  -Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境
  -在所有的主机上安装JDK和Hadoop,组成相互连通的网络
  -在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表
  -修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和JobTraker的位置和端口,设置文件的副本等参数
  -格式化文件系统


hadoop单机

http://blog.csdn.net/u010171031/article/details/51849562

伪分布式模式搭建

https://www.cnblogs.com/zhangyinhua/p/7647686.html

  1. 安装ssh                                                                  https://blog.csdn.net/bluecom24/article/details/3959379                                                              sudo apt-get install openssh-client=1:7.4p1-6                                                               sudo apt-get install openssh-server
  2. (防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs) hdfs,yarn添加用户名                                          https://blog.csdn.net/coffeeandice/article/details/78879151


 3.  yarn-site.xml添加hadoop classpath路径

   输入命令hadoop classpath,即可打印路径 

<configuration>

<property>

<name>yarn.application.classpath</name> <value>/opt/hadoop/etc/hadoop:/opt/hadoop/share/hadoop/common/lib/*:/opt/hadoop/share/hadoop/common/*:/opt/hadoop/share/hadoop/hdfs:/opt/hadoop/share/hadoop/hdfs/lib/*:/opt/hadoop/share/hadoop/hdfs/*:/opt/hadoop/share/hadoop/mapreduce/*:/opt/hadoop/share/hadoop/yarn:/opt/hadoop/share/hadoop/yarn/lib/*:/opt/hadoop/share/hadoop/yarn/*</value>
                </property>
            </configuration>

完全分布式模式搭建

https://blog.csdn.net/xummgg/article/details/50641526


猜你喜欢

转载自blog.csdn.net/u013385018/article/details/79660741