Развертывание среды больших данных CentOS-8 (Hadoop-3.3.1 + Hive-3.1.2 + Zookeeper-3.7.0 + HBase-2.4.15)

Развертывание среды больших данных

本次测试所使用软件及环境

CentOS — 8
VMware — 12
JDK — 1.8
MySQL — 8.0.32
Hadoop — 3.3.1
Hive — 3.1.2
HBase — 2.4.15

Хадуп

• 安装JDK

  tar -zxf jdk1.8.0_151.tar.gz
  

• 安装Hadoop

tar -zxf hadoop-3.3.1.tar.gz

# 1、修改 etc/hadoop 下 hadoop-env.sh、mapred-env.sh、yarn-env.sh 配置

 $ export JAVA_HOME= 你jdk的安装路径
 
 # 2、修改 core-site.xml 配置
 
 <configuration>
  <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hostname:9000</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>${local_tmp_dir}</value>
 </property>
</configuration>

# 3、修改 hdfs-site.xml 配置

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>${hostname}:9868</value>
  </property>

  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
</configuration>

# 4、修改 mapred-site.xml 配置

<configuration>
  <!---计算框架的运行平台配置 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/modules/hadoop-3.3.1</value>
  </property>
  <property>
    <name