hadoop实战(二)ubuntu18.04搭建hadoop集群

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013305783/article/details/83744122

一、 安装JDK

   官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：

export JAVA_HOME=/home/hadoop/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   然后是Source /etc/proflie 或者Source ~/.bashrc ，查看java是否配置成功使用java -version

二、配置ssh免密登录

   因为需要涉及到启动hadoop集群，其实是用ssh来实现，如果每次手动去输入密码，一旦节点过多就会很麻烦，可以配置免密登录来解决。

cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost（目标主机地址）

三、修改hosts

    为了方便使用，这里手动添加两个域名解析，

vi /etc/hosts
192.168.206.131 mini1
192.168.206.132 mini2
192.168.206.130 mini3
192.168.206.134 mini4

四、配置hadoop

   首先应该下载压缩包 http://archive.apache.org/dist/hadoop/core/ ，下载需要的版本然后解压，注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop，进入到目录中    1、hadoop-env.sh，知道jdk路径

	vim hadoop-env.sh
	#第27行
	export JAVA_HOME=/home/hadoop/jdk1.8.0_161

   2、core-site.xml

	<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
			<property>
				<name>fs.defaultFS</name>
				<value>hdfs://mini1:9000</value>
			</property>
			<!-- 指定hadoop运行时产生文件的存储目录 -->
			<property>
				<name>hadoop.tmp.dir</name>
				<value>/home/hadoop/hadoop-2.9.1/hadoopdata</value>
	    </property>

   3、hdfs-site.xml

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	
	<property>
		<name>dfs.secondary.http.address</name>
		<value>mini1:50090</value>
	</property>

   4、mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

    mv mapred-site.xml.template mapred-site.xml
	vim mapred-site.xml
	<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

   5、yarn-site.xml

	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>mini1</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

   完成之后需要先格式化hdfs文件系统

hdfs namenode -format (hadoop namenode -format)

   启动hadoop

	先启动HDFS
	sbin/start-dfs.sh
	
	再启动YARN
	sbin/start-yarn.sh

   验证是否启动成功

	使用jps命令验证
	27408 NameNode
	28218 Jps
	27643 SecondaryNameNode
	28066 NodeManager
	27803 ResourceManager
	27512 DataNode

	http://192.168.206.101:50070 （HDFS管理界面）
	http://192.168.206.101:8088 （MR管理界面）