安装hadoop伪分布式集群心得

版权声明： https://blog.csdn.net/wcx1293296315/article/details/83059705

 

1、hadoop安装：

https://www.cnblogs.com/news1997/p/9522717.html

https://blog.csdn.net/y12345678904/article/details/80743333

（注意权限问题）

常见问题解决

ubantu16 手动设置ip后网络重启用：sudo service network-manager restart，不是sudo service network restart

2、SecureCRT安装：https://my.oschina.net/u/3477605/blog/1814586（win10上没有安装成功，不过在window server 2012 服务器上安装成功）

3、Linux vi编辑器常见命令的使：

http://c.biancheng.net/cpp/html/2735.html

4、能ping通，进行ssh连接时出现：ssh: connect to host xxx port 22: Connection refused

先查看一下ssh的状态：sudo service ssh status,

检查一下这个模块有没有装，特别说明（例如：用A电脑连接B电脑，要检查俩台电脑上的ssh有没有都安装，只检查A是没有用的，我一开始是检查A电脑的，A电脑是装了的，然后我就迷茫了，能哭死）

我的是因为ssh软件没有安装：运行sudo get-apt install ssh，如果报错如下

更新下apt-get，（sudo apt-get update)。

5、免密钥登陆

https://blog.csdn.net/wcx1293296315/article/details/82950311

自己和自己ssh时，需要将自己的 id_rsa.pub复制到authorized文件中

6、java jdk安装

文档虚拟机联网不方便，就直接windows上上下载好，在secureCRT中，按快捷键（alt+p），调出sftp

用put  c：/XXX把C目录下的文件复制到对应的虚拟机

然后解压（tar -zxvf xxx），如果向移动到别的目录 用（mv xxx ../aaa/bbb/）

在bin目录下运行（./java -version）检查是否在当前目录下成功

b、配置java全局环境变量

打开配置文件（sudo vi /etc/profile）

在文件后面（shift+g）添加

JAVA_HOME=/home/app/XXX   (我把软件都放到了app文件夹下)

export  PATH =$PATH:$JAVA_HOME/bin

配置完后并不会立即生效

执行（source /etc/profile）

7、hadoop安装（要下载binary版本的，别下载source版本的，要不然你会找不到需要配置的文件，说多了都是泪）

1. sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
2. cd /usr/local/
3. sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
4. sudo chown -R hadoop ./hadoop # 修改文件权限
5. 配置jdk和hadoop的环境变量：（vi etc/profile）在最后添加如下代码：

JAVA_HOME=/usr/jdk-10.0.2

HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后运行source /etc/profile生效

根据官网：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

配置环境

8、linux 常用命令

tar -zxvf xxx

rm -rf   xxx 删除多级文件夹及内容

mv xxx  ../aaa/nnn/   移动xxx到nnn文件夹下