マックはHadoopのは、MySQL、ハイブチュートリアルをインストール

Hadoopの、MySQLをインストールする前に、ハイブ、我々は最初のJDKコンピュータにインストールを確認する必要があります

A.設定JDK

1.ダウンロードしたJDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2. [設定の環境変数

端末で使用される(1)  須藤SUルートユーザがコマンドモードに入ります。

(2)使用の  vimのプロファイルファイルを開くための/ etc / profileコマンド、押して大文字の「I」は、編集モードに、ファイルに次の情報を追加します。

       JAVA_HOMEは、JDKインストール・パスに対応します

JAVA_HOME = "/ライブラリ/ Javaの/ JavaVirtualMachines / jdk1.8.0_151.jdk /コンテンツ/ホーム" 
CLASS_PATH = "$ JAVA_HOME / libの" 
PATH = "; $ PATH:$ JAVA_HOME / binに" 
輸出JAVA_HOME

(3)「ESC」終了編集モードにキーを押して使用して「:」、タイプWQと押して保存して終了します。

  (4)端子を終了し、再度開き、コンフィギュレーションを表示するために、JDKのjava -versionコマンドを入力します。

II。設定のHadoop

1.ダウンロードHadoopの

Hadoopの2.7.7ミラーダウンロードリンクします。https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.ta​​r.gz

2.コピーしたZIPファイルは、/ユーザ/ finup / optディレクトリおよびエキスにダウンロード

3.設定のHadoop

(1)アクセス/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリ、変更hadoop-env.shプロファイルを

JAVA_HOMEのインストールパスを表示するにはまず:

次のコマンドを入力します。は/ usr / libexecに/ JAVA_HOME

/ usr / libexecに/ JAVA_HOME 
結果:/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home

その後、修正hadoop-env.shプロファイルを

輸出JAVA_HOME = "/ライブラリ/ Javaの/ JavaVirtualMachines / jdk1.8.0_191.jdk /コンテンツ/ホーム" 
輸出HADOOP_OPTS = "$ HADOOP_OPTS -Djava.net.preferIPv4Stack = trueを-Djava.security.krb5.realm = -Djava.security。 krb5.kdc =」

(2)アドレス及びポート構成HDFS

/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更コアのsite.xml設定ファイルを

<設定> 
	<プロパティ> 
             <名前> hadoop.tmp.dir </名前>    
             <値> のファイル:/Users/finup/opt/hadoop-2.7.7/tmp </ value>の
             <説明>その他の一時ディレクトリのABASE。 </記述> 
        </ property>の
        <プロパティ> 
             <名前> fs.defaultFS </名前> 
             <値> HDFS:// localhostを:9000 </ value>の
        </ property>の
</設定>

hadoop.tmp.dirはそのディレクトリに配置されるように、彼はいくつかのデータを生成する工程と

Fs.defaultFSは、Hadoopのためのデフォルトのファイルシステムに設定されて設定された「HDFS:// localhostを:9000」。localhostの9000ポート番号を表し、namenadeを表します。HDFSデーモンホストとポートは、HDFS名前ノードの属性項目によって決まります。

(3)。HDFSのコピーのデフォルト設定パラメータの数

 /Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更HDFS-site.xmlの設定ファイルを

<構成> 
        <プロパティ> 
             <名前> dfs.replication </名前>    
             <値> 1 </値> 
        </ property>の
        <プロパティ> 
             <名前> dfs.namenode.name.dir </名前> 
             <値>ファイル: /Users/finup/opt/hadoop-2.7.7/tmp/dfs/name </ value>の
        </ property>の
        <プロパティ> 
             <名前> dfs.datanode.data.dir </名前> 
             <値>のファイル:/ユーザー/finup/opt/hadoop-2.7.7/tmp/dfs/data </値> 
        </ property>の
</構成>

 dfs.replicationは、ファイルのコピーの数が分数として保存されることを示します。それは、ファイルシステムのブロックのデフォルト設定のコピーが3に設定されているHDFSませんのでこと、値が「1」に設定されているdfs.replication。それ以外の場合は、単一のデータノードの時間に実行される、HDFSは3つのデータノードへのブロックをコピーすることはできません、それは不十分な警告ブロックのコピーを与えられていきます。

(4)アドレスとポートのMapReduceのJobtracker構成

/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更mapred-site.xml.templateプロファイルを

<設定> 
     <プロパティ> 
        <名前> mapred.job.tracker </名前> 
        <値>はlocalhost:9001 </ value>の
      </ property>の
</設定>

(5)変更プロファイル糸のsite.xml

/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更糸-site.xmlの設定ファイルを  

<設定> 
           <プロパティ> 
             <名前> yarn.nodemanager.aux-サービス</名前> 
             <値> mapreduce_shuffle </ value>の
            </ property>の
</設定>

(6) ファイルシステムの初期化

コマンドを使用してインストールパスにHadoopのbinディレクトリ、  ./hadoop名前ノードの-formatが初期化され、初期化が成功し、次の出力情報、ノートその赤枠のマークがあります。

                                      

(7)の構成のHadoop環境変数

       目的は/Users/finup/opt/hadoop-2.7.7することなく、世界的に開閉任意のディレクトリにHadoop関連サービスに容易にすることです/sbin下去执行启动或关闭命令。使用命令 vim ~/.zshrac 进行编辑,添加以下内容:(注意:zshrac是自己创建的,不要纠结自己找不到这个文件)

輸出HADOOP_HOME = /ユーザ/ finupは/ opt / Hadoopの-2.7.7
輸出PATH = $ PATH:$ HADOOP_HOME / sbinに:$ HADOOP_HOME / binに

次に使うソース〜/ .zshracコマンドをHadoopののすべての上に上記の構成に関して、変更を有効にします。

4. [スタート] Hadoopの 

(1)スタート/クローズのHadoopサービス

sbinにディレクトリ、使用入力します./ start-dfs.sh起動するコマンドを、次に使用JPSは、以下に示すような結果が正常に起動し、起動を参照してください。

                                      

       私たちは、ブラウザに入力します。http:// localhostを:50070を開き、次のページは、あなたが表示し、名前ノードデータノード情報ことができます、また、オンラインHDFS内のファイルを表示することができます。

                                                      

                                             

使用./ stop-dfs.shサービスのHadoopをシャットダウンするためのコマンド

(2)スタート/閉じる糸サービス

使用./その糸は、リソース管理およびタスクスケジューリングの原因であるとしてstart-yarn.sh serviceコマンドは、糸を開始します。正常に起動したら、以下の情報を出力コマンドJPSを使用します。

                                                

        もっとちょうどHadoopのサービスよりもノードマネージャとのResourceManagerの開始前に、その後、ブラウザを開き、HTTP:// localhostを:8088、Webインターフェースの操作でタスクを見ることができます。

                                             

 

       使用./ stop-yarn.sh近い糸サービスへのコマンド。

(3)迅速な起動とシャットダウン

        、ディレクトリsbinに入力し、直接コマンドで./start-all.sh./stop-all.sh上げると簡単に多くのことをシャットダウンするよりも、コマンド、同時に開始および停止サービスがHadoopの糸します。

III。MySQLをインストールします。

可参考该链接:https://jingyan.baidu.com/article/fa4125ac0e3c2928ac709204.html  

四.安装hive

首先要保证hadoop和mysql已经安装好了

1.在mysql数据库创建hive用户

mysql> create user 'hive' identified by 'hive';

2.将mysql的所有权限授权给hive用户

mysql> grant all on *.* to 'hive'@'localhost' identified by 'hive';

3.刷新mysql使1、2步骤生效

mysql> flush privileges;

4.输入sql语句查询hive用户是否存在

mysql> select host,user,authentication_string from mysql.user;
+-----------+---------------+-------------------------------------------+
| host      | user          | authentication_string                     |
+-----------+---------------+-------------------------------------------+
| localhost | root          | *D391E96D137871ED52CDB352D867D3549815A718 |
| localhost | mysql.session | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE |
| localhost | mysql.sys     | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE |
| %         | hive          | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
| localhost | hive          | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
+-----------+---------------+-------------------------------------------+

5.使用hive用户登录mysql

wudejin:~ oldsix$ mysql -u hive -p
Enter password: hive
mysql> 

6.创建hive数据库

mysql> create database hive;

7.查看是否创建成功

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
6 rows in set (0.00 sec)

至此,前期的准备工作已完成,接下来,我们进入hive的安装过程。

8.下载hive安装包并解压

下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

下载完成后,通过命令行解压:

tar -zxvf apache-hive-3.1.1-bin.tar.gz

解压完成之后,对解压出来的文件夹重命名

mv apache-hive-3.1.1-bin hive3.1.1

9.修改hive配置:

进入hive3.1.1目录下的bin目录下,修改hive-site.xml配置文件

bin目录下不存在hive-site.xml文件,我们需要先复制一份:

cp hive-default.xml.template hive-site.xml

 修改hive-site.xml文件:

--修改数据库连接驱动名  (配置文件中需要将该配置去掉)
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
</property>

--修改数据库连接URL (配置文件中需要将该配置去掉)
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
</property>

--修改数据库连接用户名  (配置文件中需要将该配置去掉)
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>Username to use against metastore database</description>
</property>

--修改数据库连接密码  (配置文件中需要将该配置去掉)
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
</property>

--修改hive数据目录(三处) (配置文件中需要将该配置去掉)
<property>
    <name>hive.querylog.location</name>
    <value>/Users/finup/opt/hive3.1.1/iotmp</value>
    <description>Location of Hive run time structured log file</description>
</property>
<property>
  <name>hive.exec.local.scratchdir</name>
  <value>/Users/finup/opt/hive3.1.1/iotmp</value>
  <description>Local scratch space for Hive jobs</description>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/Users/finup/opt/hive3.1.1/iotmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
</property>

--可以将表头显示出来 (配置文件中需要将该配置去掉)
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
  </property>

10.配置hive环境变量

cd ~
sudo vi .base_profile

设置HIVE_HOME,并添加到PATH

export HIVE_HOME=/Users/finup/opt/hive3.1.1
export PATH=$PATH:$HIVE_HOME/bin

保存退出,并使环境变量生效

source .base_profile

11.将对应数据库的驱动包放到hive目录下的lib目录下

下载mysql-connector-java-8.0.16.jar,并上传至hive的lib目录下

12.初始化元数据库:schematool -dbType mysql -initSchema

13.进入hadoop安装目录,启动hadoop

/sbin/start-all.sh

14.启动hive

进入hive的bin目录下,执行命令: ./hive 

15.退出hive命令

exit

hive (zcfw_sda)> exit;

 

 

  

  

 

おすすめ

転載: www.cnblogs.com/dcx-1993/p/11122396.html