hadoop单机模式和伪分布模式的平台搭建

1.安装ssh

sudo apt-get install openssh-server

安装后可以使用如下命令登录本机

ssh localhost --会出现Are you sure wantto continue contecting(yes/no)?

输入yes即可

2.对于ssh的理解

ssh分为客户端和服务端

一台计算机的时候输入的每条命令都是直接交给本机去处理

当两台计算机的时候：一台为客户端，一台为服务端，假设A为客服端，B为服务端，B的IP地址假设为59.77.16.33，当在A的计算机上执行ssh 59.77.16.33时，就实现了ssh方式登录到B的linux系统执行----A计算机操作的是

B计算机的linux操作系统

3.进行ssh无密码登录

cd ~/.ssh/

ssh-keygen -t rsa //提示按ENTER就行

cat./id_rsa.put>>./authorized_key //加入授权

（以上为免密操作，前面博客有所讲）

4.安装java环境

下载jdk安装包到指定文件夹

再使用sudo tar命令前先查看安装包的权限如果是无法执行对其文件权限进行修改 chmod +764 jdk_____________-

配置环境变量

vim ~/.bashrc (如果没有vim---sudoapt-get install vim)

在~/.bashrc中添加export JAVA_HOME=/opt/jdk1.8.0_171---------jdk所在路径

export PATH=$PATH:$JAVA_HOME/bin

退出 ~/.bashrc文件界面

使环境变量生效 source ~/.bashrc

检验是否设置成功 java –version

5.安装hadoop

*和jdk一样注意安装包的文件权限

sudo tar -zxf hadoop------ -C /usr/local

修改文件的权限sudo chown

到hadoop中配置JAVA_HOME，文件位于hadoop2.76/etc/hadoop/hadoop.env.sh,将JAVA_HOME配置成JDK所在路径。（系统自动配置的应该是不会错的，以防万一）

hadoop附带丰富的例子执行以下文件查看

cd /usr/local/hadoop2.6.5

./bin/hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

呈现出grep，join。。。的简介信息

6.单机模式配置

mkdir input

cp ./etc/hadoop/*xml ./input //将配置文件复制到input目录下

./bin/hadoop jar./share/hadoop/mapreduce/hadoop-mapreduce-examples------- jar grep ./input./output 'dfs[a-z.]+'

cat ./output/* //查看运行结果

7.伪分布式模式设置

修改配置文件core-site.xml和hdfs-site.xml文件

vim core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://localhost:8020</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-2.7.6/data/tmp</value>

</property>

</configuration>

vim hdfs_site.xml

<name>dfs.replication</name>

</property>

</configuration>

8.执行节点格式化和运行hadoop

返回到hadoop安装目录 cd/usr/local/hadoop-2.7.6

格式化 ./bin/hdfs namenode –format

如果出现Exiting with status 1,则为错误

启动:

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

启动成功后jps命令则会列出进程

查看web端界面

hostname：50070

hadoop单机模式和伪分布模式的平台搭建

猜你喜欢