Hadoopの、MySQLをインストールする前に、ハイブ、我々は最初のJDKコンピュータにインストールを確認する必要があります
A.設定JDK
1.ダウンロードしたJDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2. [設定の環境変数
端末で使用される(1) 須藤SUルートユーザがコマンドモードに入ります。
(2)使用の vimのプロファイルファイルを開くための/ etc / profileコマンド、押して大文字の「I」は、編集モードに、ファイルに次の情報を追加します。
JAVA_HOMEは、JDKインストール・パスに対応します
JAVA_HOME = "/ライブラリ/ Javaの/ JavaVirtualMachines / jdk1.8.0_151.jdk /コンテンツ/ホーム" CLASS_PATH = "$ JAVA_HOME / libの" PATH = "; $ PATH:$ JAVA_HOME / binに" 輸出JAVA_HOME
(3)「ESC」終了編集モードにキーを押して使用して「:」、タイプWQと押して保存して終了します。
(4)端子を終了し、再度開き、コンフィギュレーションを表示するために、JDKのjava -versionコマンドを入力します。
II。設定のHadoop
1.ダウンロードHadoopの
Hadoopの2.7.7ミラーダウンロードリンクします。https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
2.コピーしたZIPファイルは、/ユーザ/ finup / optディレクトリおよびエキスにダウンロード
3.設定のHadoop
(1)アクセス/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリ、変更hadoop-env.shプロファイルを
JAVA_HOMEのインストールパスを表示するにはまず:
次のコマンドを入力します。は/ usr / libexecに/ JAVA_HOME
/ usr / libexecに/ JAVA_HOME 結果:/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home
その後、修正hadoop-env.shプロファイルを
輸出JAVA_HOME = "/ライブラリ/ Javaの/ JavaVirtualMachines / jdk1.8.0_191.jdk /コンテンツ/ホーム" 輸出HADOOP_OPTS = "$ HADOOP_OPTS -Djava.net.preferIPv4Stack = trueを-Djava.security.krb5.realm = -Djava.security。 krb5.kdc =」
(2)アドレス及びポート構成HDFS
/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更コアのsite.xml設定ファイルを
<設定>
<プロパティ>
<名前> hadoop.tmp.dir </名前>
<値> のファイル:/Users/finup/opt/hadoop-2.7.7/tmp </ value>の
<説明>その他の一時ディレクトリのABASE。 </記述>
</ property>の
<プロパティ>
<名前> fs.defaultFS </名前>
<値> HDFS:// localhostを:9000 </ value>の
</ property>の
</設定>
hadoop.tmp.dirはそのディレクトリに配置されるように、彼はいくつかのデータを生成する工程と
Fs.defaultFSは、Hadoopのためのデフォルトのファイルシステムに設定されて設定された「HDFS:// localhostを:9000」。localhostの9000ポート番号を表し、namenadeを表します。HDFSデーモンホストとポートは、HDFS名前ノードの属性項目によって決まります。
(3)。HDFSのコピーのデフォルト設定パラメータの数
/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更HDFS-site.xmlの設定ファイルを
<構成> <プロパティ> <名前> dfs.replication </名前> <値> 1 </値> </ property>の <プロパティ> <名前> dfs.namenode.name.dir </名前> <値>ファイル: /Users/finup/opt/hadoop-2.7.7/tmp/dfs/name </ value>の </ property>の <プロパティ> <名前> dfs.datanode.data.dir </名前> <値>のファイル:/ユーザー/finup/opt/hadoop-2.7.7/tmp/dfs/data </値> </ property>の </構成>
dfs.replicationは、ファイルのコピーの数が分数として保存されることを示します。それは、ファイルシステムのブロックのデフォルト設定のコピーが3に設定されているHDFSませんのでこと、値が「1」に設定されているdfs.replication。それ以外の場合は、単一のデータノードの時間に実行される、HDFSは3つのデータノードへのブロックをコピーすることはできません、それは不十分な警告ブロックのコピーを与えられていきます。
(4)アドレスとポートのMapReduceのJobtracker構成
/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更mapred-site.xml.templateプロファイルを
<設定> <プロパティ> <名前> mapred.job.tracker </名前> <値>はlocalhost:9001 </ value>の </ property>の </設定>
(5)変更プロファイル糸のsite.xml
/Users/finup/opt/hadoop-2.7.7/etc/hadoop/ディレクトリを入力し、変更糸-site.xmlの設定ファイルを
<設定> <プロパティ> <名前> yarn.nodemanager.aux-サービス</名前> <値> mapreduce_shuffle </ value>の </ property>の </設定>
(6) 。ファイルシステムの初期化
コマンドを使用してインストールパスにHadoopのbinディレクトリ、 ./hadoop名前ノードの-formatが初期化され、初期化が成功し、次の出力情報、ノートその赤枠のマークがあります。
(7)の構成のHadoop環境変数
目的は/Users/finup/opt/hadoop-2.7.7することなく、世界的に開閉任意のディレクトリにHadoop関連サービスに容易にすることです/sbin下去执行启动或关闭命令。使用命令 vim ~/.zshrac 进行编辑,添加以下内容:(注意:zshrac是自己创建的,不要纠结自己找不到这个文件)
輸出HADOOP_HOME = /ユーザ/ finupは/ opt / Hadoopの-2.7.7
輸出PATH = $ PATH:$ HADOOP_HOME / sbinに:$ HADOOP_HOME / binに
次に使うソース〜/ .zshracコマンドをHadoopののすべての上に上記の構成に関して、変更を有効にします。
4. [スタート] Hadoopの
(1)スタート/クローズのHadoopサービス
sbinにディレクトリ、使用入力します./ start-dfs.sh起動するコマンドを、次に使用JPSは、以下に示すような結果が正常に起動し、起動を参照してください。
私たちは、ブラウザに入力します。http:// localhostを:50070を開き、次のページは、あなたが表示し、名前ノードデータノード情報ことができます、また、オンラインHDFS内のファイルを表示することができます。
使用./ stop-dfs.shサービスのHadoopをシャットダウンするためのコマンド
(2)スタート/閉じる糸サービス
使用./その糸は、リソース管理およびタスクスケジューリングの原因であるとしてstart-yarn.sh serviceコマンドは、糸を開始します。正常に起動したら、以下の情報を出力コマンドJPSを使用します。
もっとちょうどHadoopのサービスよりもノードマネージャとのResourceManagerの開始前に、その後、ブラウザを開き、HTTP:// localhostを:8088、Webインターフェースの操作でタスクを見ることができます。
使用./ stop-yarn.sh近い糸サービスへのコマンド。
(3)迅速な起動とシャットダウン
、ディレクトリsbinに入力し、直接コマンドで./start-all.shと./stop-all.sh上げると簡単に多くのことをシャットダウンするよりも、コマンド、同時に開始および停止サービスがHadoopの糸します。
III。MySQLをインストールします。
可参考该链接:https://jingyan.baidu.com/article/fa4125ac0e3c2928ac709204.html
四.安装hive
首先要保证hadoop和mysql已经安装好了
1.在mysql数据库创建hive用户
mysql> create user 'hive' identified by 'hive';
2.将mysql的所有权限授权给hive用户
mysql> grant all on *.* to 'hive'@'localhost' identified by 'hive';
3.刷新mysql使1、2步骤生效
mysql> flush privileges;
4.输入sql语句查询hive用户是否存在
mysql> select host,user,authentication_string from mysql.user; +-----------+---------------+-------------------------------------------+ | host | user | authentication_string | +-----------+---------------+-------------------------------------------+ | localhost | root | *D391E96D137871ED52CDB352D867D3549815A718 | | localhost | mysql.session | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE | | localhost | mysql.sys | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE | | % | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC | | localhost | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC | +-----------+---------------+-------------------------------------------+
5.使用hive用户登录mysql
wudejin:~ oldsix$ mysql -u hive -p Enter password: hive mysql>
6.创建hive数据库
mysql> create database hive;
7.查看是否创建成功
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hive | | mysql | | performance_schema | | sys | | test | +--------------------+ 6 rows in set (0.00 sec)
至此,前期的准备工作已完成,接下来,我们进入hive的安装过程。
8.下载hive安装包并解压
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
下载完成后,通过命令行解压:
tar -zxvf apache-hive-3.1.1-bin.tar.gz
解压完成之后,对解压出来的文件夹重命名
mv apache-hive-3.1.1-bin hive3.1.1
9.修改hive配置:
进入hive3.1.1目录下的bin目录下,修改hive-site.xml配置文件
bin目录下不存在hive-site.xml文件,我们需要先复制一份:
cp hive-default.xml.template hive-site.xml
修改hive-site.xml文件:
--修改数据库连接驱动名 (配置文件中需要将该配置去掉) <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> --修改数据库连接URL (配置文件中需要将该配置去掉) <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value> <description> JDBC connect string for a JDBC metastore. To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL. For example, jdbc:postgresql://myhost/db?ssl=true for postgres database. </description> </property> --修改数据库连接用户名 (配置文件中需要将该配置去掉) <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>Username to use against metastore database</description> </property> --修改数据库连接密码 (配置文件中需要将该配置去掉) <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>password to use against metastore database</description> </property> --修改hive数据目录(三处) (配置文件中需要将该配置去掉) <property> <name>hive.querylog.location</name> <value>/Users/finup/opt/hive3.1.1/iotmp</value> <description>Location of Hive run time structured log file</description> </property> <property> <name>hive.exec.local.scratchdir</name> <value>/Users/finup/opt/hive3.1.1/iotmp</value> <description>Local scratch space for Hive jobs</description> </property> <property> <name>hive.downloaded.resources.dir</name> <value>/Users/finup/opt/hive3.1.1/iotmp</value> <description>Temporary local directory for added resources in the remote file system.</description> </property> --可以将表头显示出来 (配置文件中需要将该配置去掉) <property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the columns in query output.</description> </property>
10.配置hive环境变量
cd ~ sudo vi .base_profile
设置HIVE_HOME,并添加到PATH
export HIVE_HOME=/Users/finup/opt/hive3.1.1 export PATH=$PATH:$HIVE_HOME/bin
保存退出,并使环境变量生效
source .base_profile
11.将对应数据库的驱动包放到hive目录下的lib目录下
下载mysql-connector-java-8.0.16.jar,并上传至hive的lib目录下
12.初始化元数据库:schematool -dbType mysql -initSchema
13.进入hadoop安装目录,启动hadoop
/sbin/start-all.sh
14.启动hive
进入hive的bin目录下,执行命令: ./hive
15.退出hive命令
exit
hive (zcfw_sda)> exit;