Hadoopの+スパーク+ハイブビルド環境(設定はハイブをインストール)

I、ダウンロードして解凍ハイブ

#ダウンロードハイブ
 のwget HTTP:// apache.claz.org/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz 

#アンパック
タール zxf hive- Apache- 2.36。-bin タール.gzを

#Hadoopのファイルフォルダ移動に
ミュージックビデオのApache-hive- 2.3。6 -binは/ usr / local / Hadoopの/ hive- 2.1。1つの

#configureコンシステム環境変数
のVimは/ etc / profileの
#は、次の3つの行を追加します。

輸出HIVE_HOME =は/ usr / local / Hadoopの/ハイブ
輸出HIVE_CONF_DIR = $ HIVE_HOME / confに
輸出PATH = $ PATH:$ HIVE_HOME / binに

 

IIは、追加の依存関係をインストール

1、MySQLのコネクタドライブ

#ダウンロードはmysql- コネクタ駆動
 wgetの HTTPS:// dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz 

#アンパック
タール zxfのMySQLコネクタ- Javaベース5.148タール.gzの

#を入力してMySQLの -connector-Javaベース5.148のMySQLコネクタ- Javaベース、-bin.jar 5.148の移動/ハイブ/への.jar二つのパッケージ内のlib
 CPのMySQLコネクタ- Javaの- 5.148 -bin.jarは/ usr / local / Hadoopの/ hive- 2.11。 / libに/
 CPのMySQLコネクタ- Javaベース5.148の.jarは/ usr / local / Hadoopの/ hive- 2.11 / libに/

図2に示すように、スパーク必要パケットにハイブ

#既にインストール/ Hadoopの/火花/スカラ座、ライブラリに火花コア瓶ディレクトリ内のハイブ/へコピー火花ネットワーク-commonパッケージの異なるバージョン、異なるサフィックス番号に応じlibの下に、
 CPのScala-Library- 2.1112。火花core_2 JAR。11。 - 2.44。の.jar火花ネットワークcommon_2。11。 - 2.4。4の.jarは/ usr / local / Hadoopの/ハイブ/ libに/

3、

おすすめ

転載: www.cnblogs.com/gambler/p/11869614.html