ビッグデータツールの使用-Hadoop（複数のサーバー）とHive、Hbaseをインストールします

その他 2021-03-29 18:39:27 訪問数: null

1.環境バージョンを構成します

データをBaiduCloudにアップロードし、自分で取得します。リンク：https：//pan.baidu.com/s/1evVp5Zk0_X7VdjKlHGkYCw抽出コード：ypti
このコンテンツをコピーして、操作に便利なBaiduNetdisk モバイルアプリを開きます。

（以前にApacheバージョンのHadoop 2.6.4がインストールされていて、ハイブの起動時にエラーが報告されましたが、統一された方法でCDHに変更されました）

2.インストール前の構成作業

2.1jdkをインストールします

（1）jdkをダウンロードする

（2）/ etc / profileファイルで環境変数を解凍し、構成します

export JAVA_HOME=/home/jdk1.8.0_131
export PATH=${JAVA_HOME}/bin:${PATH}

2.2SSHパスワードなしのログイン

ssh-keygen

ファイルのパスに応じて変更します。

cp /root/.ssh/id_rsa.pub /root/.ssh/authoried_keys

次のコマンドでテストします。

ssh localhost

2.3 mysqlのインストール（ハイブ環境で必要）

ルーキーチュートリアルを参照できます：https：//www.runoob.com/linux/mysql-install-setup.html

私のデータベースはリモートです。mysqlリモート接続を構成する必要があります

2.4IPを構成する

/ etc / hostsを設定するには、両方のサーバーを変更する必要があります。私のものは2つ、1つはマスター、もう1つはデータです。括弧内には何も書かれていません。

IP地址 hostname （master）
IP地址 hostname （data）

3.Hadoopをインストールします

（1）ファイルをダウンロードする

（2）サーバーに個別に解凍し、環境変数を設定します

環境変数の構成：

export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export YARN_CONF_IR=/home/hadoop-2.6.4/etc/hadoop
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

有効にするには、ソース/ etc / profileを使用することを忘れないでください。！！

（3）構成ファイル

  • マスターサーバーを構成する

hadoopファイルディレクトリ/etc/hadoop/core-site.xmlを入力します。

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

hadoopファイルディレクトリ/etc/hadoop/hdfs-site.xmlを入力します。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/namenode</value>
</property> -->

</configuration>

hadoopファイルディレクトリ/etc/hadoop/mapred-site.xmlを入力します。

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
</configuration>

hadoopファイルディレクトリ/etc/hadoop/yarn-site.xmlを入力します。

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>

</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8025</value>

</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>

</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8050</value>

</property>

</configuration>

hadoopファイルディレクトリ/ etc / hadoop /に新しいmastersファイルを作成し、masterと入力します

hadoopファイルディレクトリ/ etc / hadoop /にスレーブファイルを作成し、データを入力します（複数のデータサーバーがある場合は、data1、data2、data3などのように別々に書き込みます）

  • データサーバーを構成する

hadoopファイルディレクトリ/etc/hadoop/core-site.xmlを入力します。

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

hadoopファイルディレクトリ/etc/hadoop/hdfs-site.xmlを入力します。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop-2.6.0-cdh5.15.1/hadoop_data/hdfs/datanode</value>
</property>
</configuration>

hadoopファイルディレクトリ/etc/hadoop/mapred-site.xmlを入力します。

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
</configuration>

hadoopファイルディレクトリ/etc/hadoop/yarn-site.xmlを入力します。

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>

</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8025</value>

</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>

</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8050</value>

</property>

</configuration>

（4）開始

hadoopファイルのdirectory / sbinを入力し、start-all.shを開始するか、start-dfs.shとstart-yarn.shをそれぞれ入力します。

（5）表示

  • マスターサーバーはNameNodeノードを起動します。

  • データサーバーで、DataNodeノードを起動します。

4.Hbaseをインストールします

（1）Hbaseをダウンロードして解凍します

（2）環境変数を構成する

export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1
export PATH=$PATH:$HBASE_HOME/bin

（3）構成ファイル

Hbaseインストールディレクトリ/conf/hbase-env.shを入力し、変更します

Hbaseインストールディレクトリ/conf/hbase-site.xmlを入力し、変更します

<configuration>
 <property>
        <name>hbase.rootdir</name>
        <value>file:/home/hbase-1.2.0-cdh5.15.1/hbase_data</value>
    </property>

</configuration>

（4）開始

hbaseshellと入力します

5.Hiveをインストールします

（1）Hiveをダウンロードして解凍します

（2）環境変数を構成する

export HIVE_HOME=/home/hive-1.1.0-cdh5.15.1
export PATH=:$JAVA_HOME/bin:$MAVEN_HOME/bin:$FINDBUGS_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin:$HIVE_HOME/bin:$PATH

（3）構成ファイル

Hiveインストールディレクトリ/conf/hive-env.shに入り、変更します

export HADOOP_HOME=/home/hadoop-2.6.0-cdh5.15.1/
export HBASE_HOME=/home/hbase-1.2.0-cdh5.15.1

Hiveインストールディレクトリ/conf/hive-site.shに入り、変更します

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://IP地址:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=utf8&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>

mysqlデータベースへのリモート接続が設定されています。ハイブデータベースがデフォルトであり、変更できません。事前にmysqlで新しいデータベースを作成する必要があります。

（4）開始

ハイブを入力して開始

ターミナルのJlineパッケージエラーが報告された場合、hadoopファイルディレクトリ/ share / hadoop / yarn / lib /の下のjlineパッケージは、Hiveインストールディレクトリ/ lib /のjlineパッケージバージョンと同じである必要があります。！！

インストールは終了しました、残りは続きます！

 

おすすめ

転載: blog.csdn.net/qq_28409193/article/details/112987718
おすすめ
ランキング
Python 描画 3D 動的ヒストグラム コード チュートリアル
[vue3 共通エラー 5] Uncaught (in Promise) TypeError: xxx は関数ではありません
シンプルアップロードExcelファイルやデータベースにデータを追加
springboot における import アノテーションの役割
numpy 多维矩阵的维度交换
WMS システム - ウェーブ管理
Redis（7）マスター/スレーブレプリケーション
三北斗七星星座コアグローバルシステムの導入は完了です！グローバルネットワークを推進するために、
sql server语法——排序查询
続行することはできません立ち往生
アーカイブ
もっと
2024-05-16(24)
2024-05-15(5)
2024-05-14(9)
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)

コードワールド

© 2018 codetd.com