Linux下Hadoop2

其他 2019-01-24 12:38:03 阅读次数: 0
版权声明：--------- 版权声明：本文为博主原创文章，转载请附上博文链接！ https://blog.csdn.net/wangxw1803/article/details/85605064

Hadoop2.7.7 + Spark2.2搭建

安装虚拟机
https://www.cr173.com/soft/68480.html

安装镜像
http://releases.ubuntu.com/xenial/
安装默认配置，使用NAT模式网络
配置Linux环境属性，直接使用root用户

#设置root用户密码
sudo passwd root
#关闭防火墙
ufw disable
#卸载iptables组件
apt-get remove iptables
#安装ssh
apt-get install openssh-server
#启动ssh的服务
/etc/init.d/ssh start
#查看进程，观察是否已经启动指定的服务
ps -e | grep sshd
#下载vim
apt-get install vim
#使用vim打开配置文件修改参数
vim /etc/ssh/sshd_config
#将PermitRootLogin参数修改为yes

下载xshell
https://xshell.en.softonic.com/

2.分布式系统的搭建
选取三台虚拟机
114.55.246.88 主节点
114.55.246.77 从节点
114.55.246.93 从节点
修改hostname文件
修改三台服务器的hostname文件。
vim /etc/hostname
分别改为Master、Slave1、Slave2
重启虚拟机生效
reboot
修改hosts文件
修改三台服务器的hosts文件。
　　vi /etc/hosts
　　在原文件的基础最后面加上：
114.55.246.88 Master
114.55.246.77 Slave1
114.55.246.93 Slave2

配置Master无密码登录所有Salve
　　配置Master节点，以下是在Master节点的配置操作。
        注意：如果都是新的虚拟机，进入~目录下ll查看是否有.ssh文件夹如果有就删了
rm -rf .ssh/

　　1）在Master节点上生成密码对，在Master节点上执行以下命令：
　　ssh-keygen -t rsa 
　　生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/root/.ssh"目录下。
　　2）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。
　　cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　3）修改ssh配置文件"/etc/ssh/sshd_config"的下列内容，将以下内容的注释去掉：
　　RSAAuthentication yes # 启用 RSA 认证
　　PubkeyAuthentication yes # 启用公钥私钥配对认证方式
　　AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
　　4）重启ssh服务，才能使刚才设置有效。
　　service sshd restart
　　5）验证无密码登录本机是否成功。
　　ssh localhost
　　6）接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥：
　　scp /root/.ssh/id_rsa.pub root@Slave1:/root/
　　scp /root/.ssh/id_rsa.pub root@Slave2:/root/

接着配置Slave节点，以下是在Slave1节点的配置操作。

　　1）在"/root/"下创建".ssh"文件夹，如果已经存在就不需要创建了。
　　mkdir /root/.ssh
　　2）将Master的公钥追加到Slave1的授权文件"authorized_keys"中去。
　　cat /root/id_rsa.pub >> /root/.ssh/authorized_keys
　　3）修改"/etc/ssh/sshd_config"，具体步骤参考前面Master设置的第3步和第4步。
　　4）用Master使用ssh无密码登录Slave1
　　ssh 114.55.246.77
　　5）把"/root/"目录下的"id_rsa.pub"文件删除掉。
　　rm –r /root/id_rsa.pub

重复上面的5个步骤把Slave2服务器进行相同的配置。
　　3.3 配置所有Slave无密码登录Master

　　以下是在Slave1节点的配置操作。
　　1）创建"Slave1"自己的公钥和私钥，并把自己的公钥追加到"authorized_keys"文件中，执行下面命令：
　　ssh-keygen -t rsa 
　　cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
　　2）将Slave1节点的公钥"id_rsa.pub"复制到Master节点的"/root/"目录下。
　　scp /root/.ssh/id_rsa.pub root@Master:/root/

以下是在Master节点的配置操作。

　　1）将Slave1的公钥追加到Master的授权文件"authorized_keys"中去。
　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
　　2）删除Slave1复制过来的"id_rsa.pub"文件。
　　rm –r /root/id_rsa.pub

　　配置完成后测试从Slave1到Master无密码登录。
　　ssh 114.55.246.88

按照上面的步骤把Slave2和Master之间建立起无密码登录。这样，Master能无密码验证登录每个Slave，每个Slave也能无密码验证登录到Master。

安装基础环境

自己取网上下载hadoop、spark、scala、javaSE安装包
使用xftp软件将安装包导入路径：/srv/xftp(自己创建这个文件夹)
进入这个目录
cd /srv/xftp
#解压文件
tar xzvf 文件 -C /usr/local/
把四个全部解压完然后进入目录
cd /usr/local/
把文件改名
mv 文件名 jdk
把四个分别改为jdk、scala、hadoop、spark
然后修改所有虚拟机的环境变量
vim /etc/profile
改成
export JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMOM_LIB_NATIVE_DIR"
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_PYTHON=/usr/bin/python
（注意python的路径可以自己指定我在这里用的自带的python）
激活环境变量
source /etc/profile

Hadoop2.7.3完全分布式搭建

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME 如下：
  export JAVA_HOME=/usr/local/jdk

修改$HADOOP_HOME/etc/hadoop/slaves，将原来的localhost删除，改成如下内容：
Slave1
Slave2

cd /usr/local/hadoop/etc/hadoop

修改$HADOOP_HOME/etc/hadoop/
--vi /core-site.xml
<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/tmp</value>
     </property>
</configuration>

#注意手动创建tmp文件夹

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>Master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop/hdfs/data</value>
    </property>
</configuration>

#注意手动创建hdfs文件夹及子文件夹

复制template，生成xml，命令如下：
　　cp mapred-site.xml.template mapred-site.xml
　　修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:19888</value>
  </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
     </property></configuration>

4）复制Master节点的hadoop文件夹到Slave1和Slave2上。
　　scp -r /usr/local/hadoop root@Slave1:/usr/local/
      scp -r /usr/local/hadoop root@Slave2:/usr/local/
　　
5）在Slave1和Slave2上分别修改/etc/profile，过程同Master一样。
　　6）在Master节点启动集群，启动之前格式化一下namenode：
　　hadoop namenode -format
　　启动：
　　/usr/local/hadoop/sbin/start-all.sh
　　至此hadoop的完全分布式环境搭建完毕。
　　
　　7）查看集群是否启动成功：
　　jps
　　Master显示：
　　SecondaryNameNode
　　ResourceManager
　　NameNode
　　
　　Slave显示：
　　NodeManager
　　DataNode

Spark2.1.0完全分布式环境搭建

复制spark-env.sh.template成spark-env.sh
　　cp spark-env.sh.template spark-env.sh
　　修改$SPARK_HOME/conf/spark-env.sh，添加如下内容：
	export JAVA_HOME=/usr/local/jdk
	export SCALA_HOME=/usr/local/scala
	export HADOOP_HOME=/usr/local/hadoop
	export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
	export SPARK_HOME=/usr/local/spark
	export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
	PYSPARK_PYTHON=/usr/bin/python3
	
	export SPARK_MASTER_IP=114.55.246.88
	export SPARK_MASTER_HOST=114.55.246.88
	export SPARK_LOCAL_IP=114.55.246.88
	export SPARK_WORKER_MEMORY=2g
	export SPARK_WORKER_CORES=2

复制slaves.template成slaves

　　cp slaves.template slaves
　　修改$SPARK_HOME/conf/slaves，添加如下内容：
Master
Slave1
Slave2

将配置好的spark文件复制到Slave1和Slave2节点。
scp -r /usr/local/spark root@Slave1:/usr/local/
scp -r /usr/local/spark root@Slave2:/usr/local/

修改Slave1和Slave2配置。

　　在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2对应节点的IP。
　　6）在Master节点启动集群。
　　/usr/local/spark/sbin/start-all.sh
　　7）查看集群是否启动成功：
　　jps
　　Master在Hadoop的基础上新增了：
　　Master
　　
　　Slave在Hadoop的基础上新增了：
　　Worker

猜你喜欢

转载自blog.csdn.net/wangxw1803/article/details/85605064
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
周排行
浏览器对同一域名进行请求的最大并发连接数
React Hook之自定义Hook
【转】MyBatis缓存机制
-Java-泛型
自动化测试常用脚本-发送邮件
LeetCode#859: Buddy Strings
java、Python处理字符串
第二篇の博客
Hadoop伪分布式环境安装
SQL Server进阶（十一）临时表、表变量
每日归档
更多
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022