云服务器搭建hadoop需要注意问题

一、前言

第一次接触hadoop,hadoop单机、伪分布和完全分布模式。看了资料查了书都是在linux上搭建的,而且都是在虚拟机搭建。但是由于自己对linux不熟悉,所以想在win搭建。正好看的书是在win下搭建的,结果准备去搭建环境。你会发现win下几乎没法完成工作的,很多的开发都是在linux下完成的。至于大数据的hadoop到底是什么,可能现在来看就是分布式存储的一个平台,hadoop的现在开发和运算已经不是主流,现在更多用的是spark。因此自己的学习路线就是搭建hadoop平台,简单的了解hadoop的工作原理。深入的学习spark开发。

二、安装hadoop遇到的问题

1、一定不要在win的环境搭建hadoop

2、云服务器的选择

自己在云服务器搭建hadoop,首先我准备了三台云服务器,俩台阿里和一台腾讯的服务器。在服务器可以完成关闭防火墙、设置节点、ssh免密登陆、环境变量的设置、jdk的安装和hadoop安装(包括配置文件的修改),你会发现和虚拟机的安装没有区别啊,都是正常的。最后你启动hadoop,也能正常启动,运行jps别的服务器的hadoop也启动了,但是在做测试的时候,你会发现测试不通过。查原因很多很多。

幸运的是搭建完成后。阿里的客服给我打了一个电话,让我彻底明白了我的问题出现那里。、

前方高能!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

(1)选择服务器不能选择多家的服务器,也就是说你只能选择阿里、腾讯或者百度云等等。因为它们物理上是隔绝的。

(2)选择一家的服务器不行,还必须这三台服务器必须是同一个帐号购买的,不同的帐号购买,内网是不通的。一个帐号购买就会让三台服务器在一个区域网。

(3)设置节点的时候不能使用公网的ip(公网的ip只能用来远程登陆),也就是设置节点必须使用内网的ip。
(4)服务器还需要搭建安全组。

建议:在linux搭建hadoop、不要选择win搭建;在虚拟机搭建hadoop,不要再服务器搭建hadoop(除非你真的不差钱)

发布了33 篇原创文章 · 获赞 14 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/baidu_38978508/article/details/88797043