06-伪集群搭建

版权声明:如有转载,还请标明转载地址 https://blog.csdn.net/m0_37937526/article/details/89761920

目录

1 需要的软件

2 前提:需要修改通知级别

3 压缩文件解压顺序及方法

4 在WINDOWS上配置环境变量

5 设置hadoop配置文件

6 测试hadoop命令

7 格式化namenode

8 启动hdfs

9 启动yarn

10 测试hdfs是否好用

11 开启和关闭


1 需要的软件

winutils-master:windows模拟linux 环境

hadoop-2.7.3.tar.gz:hadoop编译后的包

hadoop_conf.tar:hadoop的配置

hadoop_windows.zip:windows的hadoop配置

2 前提:需要修改通知级别

win7

win10

3 压缩文件解压顺序及方法

1 解压hadoop-2.7.3.tar.gz,到C盘的某个目录下;

2 解压winutils-master.zip,将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3\bin目录下,

注意,千万别覆盖bin目录下的其他文件;

3 解压hadoop_conf.tar, 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3\etc\hadoop目录下;

4 解压hadoop-window.zip,然后将解压的hadoop文件夹内的内容做修改后,替换到hadoop-2.7.3\etc\hadoop;

4 在WINDOWS上配置环境变量

1)HADOOP_HOME

2)把hadoop的bin和sbin配置到path环境变量里

;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin

5 设置hadoop配置文件

core-site.xml

hdfs-site.xml

maprd-site.xml

yarn-site.xml

hadoop-env.cmd

把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录

6 测试hadoop命令

win10支持Linux命令的工具:windows powershell 工具

打开cmd输入set查看设置的环境变成是否生效

输入hadoop version查看hadoop的版本

7 格式化namenode

hadoop namenode -format

8 启动hdfs

start-dfs.cmd 之后弹出两个窗口

namenode

datanode

之后在电脑上的c盘就能看到tmp目录,里面有namenode文件和datanode文件

启动成功之后就可以查看hdfs的web页面

9 启动yarn

start-yarn.cmd之后弹出两个窗口

resourceManager

nodeManager

查看yarn的web界面

10 测试hdfs是否好用

11 开启和关闭

start-all.cmd开启hadoop

stop-all.cmd关闭hadoop

debug命令

F2:显示类的带有包名的类名

F3:进入类里面

F4:查看该类的上下级关系

F6:执行一个语句

F8:一直运行,直到遇到断点停止

调试hadoop命令

1)配置pom.xml

2)创建资源文件夹,把etc/hadoop/core-site.xml 复制到 资源文件夹下

3)模仿FsShell 类的main(),来调用FsShell 命令。

hadoop fs -get 

hadoop fs -ls /

----------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------

猜你喜欢

转载自blog.csdn.net/m0_37937526/article/details/89761920