1.1.1のダウンロードsqoop1:
Sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
1.1.2解凍し、内容のテーブルを表示します。
[Hadoopの@のhadoop01〜] $タール-zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -解压
[Hadoopの@ hadoop01〜] $のCDのsqoop-1.4.7.bin__hadoop-2.6.0
[Hadoopの@ hadoop01 sqoop-1.4.7.bin__hadoop-2.6.0] $ lsの-ll -查看目录
合計2020
drwxr-XR-X。2のHadoop Hadoopの4096 2017年12月19日のビン
-rw-RW-r--の。1つのHadoop Hadoopの55089 2017年12月19日のbuild.xml
-rw-RW-r--の。1つのHadoop Hadoopの47426 2017年12月19日CHANGELOG.txt
-rw-RW-r--の。1のHadoop Hadoopの9880 2017年12月19日COMPILING.txt
drwxr-XR-X。2のHadoop Hadoopの150 2017年12月19日CONF
drwxr-XR-X。5のHadoop Hadoopの169 2017年12月19日ドキュメント
drwxr-XR-X。2 HadoopのHadoopの96 2017年12月19日ツタ
-rw-RW-r--の。1のHadoop Hadoopの11163 2017年12月19日ivy.xml
drwxr-XR-X。2のHadoop Hadoopの4096 2017年12月19日のlib
-rw-RW-r--の。1つのHadoop Hadoopの15419 2017年12月19日LICENSE.TXT
-rw-RW-r--の。1つのHadoop Hadoopの505 2017年12月19日のNOTICE.txt
-rw-RW-r--の。1つのHadoop Hadoopの18772 2017年12月19日POM-old.xml
-rw-RW-r--の。1つのHadoop Hadoopの1096 2017年12月19日のREADME.txt
-rw-RW-r--の。1のHadoopのHadoop 1108073 2017年12月19日sqoop-1.4.7.jar
-rw-RW-r--の。sqoop-patch-review.py 1つのHadoop Hadoopの6554 2017年12月19日
-rw-RW-r--の。1つのHadoop Hadoopの765184 2017年12月19日sqoopテスト-1.4.7.jar
drwxr-XR-X。7のHadoop Hadoopの73 2017年12月19日SRC
drwxr-XR-X。4のHadoop Hadoopの114 2017年12月19日TESTDATA
1.2コンフィギュレーションsqoop - MySQLのコネクタ:
ダウンロードのmysql-コネクタ-javaの-8.0.16.jar、libとインストールSqoopのファイルフォルダのディレクトリにコピー
1.3 Sqoop構成の環境変数:
$のCD confに[hadoop01 sqoop-1.4.7.bin__hadoop-2.6.0 @のHadoop]
[Hadoopの@のhadoop01 confに] $ lsの-ll
合計28
-rw-RW-r--の。1のHadoop Hadoopの3895 2017年12月19日oraoopサイト-template.xml
-rw-RW-r--の。1つのHadoop Hadoopの1404 2017年12月19日sqoop-ENV-template.cmd
-rwxr-XR-X。sqoop-env-template.sh 1つのHadoop Hadoopの1345 2017年12月19日
-rw-RW-r--の。1のHadoop Hadoopの6044 2017年12月19日sqoopサイト-template.xml
-rw-RW-r--の。1つのHadoop Hadoopの6044 2017年12月19日sqoop-site.xmlの
1.3.1コピーsqoop-env.shサンプルコピー、および追加のHadoop、HBaseの、ハイブ、飼育係のインストールディレクトリ(注:追加されません)
[Hadoopの@のhadoop01 confに] $ cpはsqoop-env-template.sh sqoop-env.sh
[のHadoopの@ hadoop01 confに] $ geditのsqoop-env.sh
修改的内容:
ビン/ Hadoopのが利用可能な場合に#SETパス
輸出HADOOP_COMMON_HOME = /home/hadoop/hadoop-3.2.0
* - - Hadoopの場所への#setパスcore.jarが利用可能である
輸出HADOOP_MAPRED_HOME = /ホーム/ Hadoopの/ Hadoopの-3.2.0は、
ビン/ HBaseのが利用可能な場所へのパスを#SET
輸出HBASE_HOME = /ホーム/ Hadoopの/ HBaseの-2.2.1
#SETビン/ハイブが使用可能なパス
の輸出HIVE_HOME = /ホーム/ Hadoopの/ apacheの-ハイブ-3.1.2-binの
#SET zookeperのconfigディレクトリがどこにあるのパス
書き出しZOOCFGDIR = /ホーム/ Hadoopの/ apacheの-飼育係-3.5.5
Linuxの環境変数の設定
[Hadoopの@のhadoop01 confに] $ geditの〜/ .bash_profileの
[Hadoopの@のhadoop01 confに] $ソース〜/ .bash_profileの
新添加:
#sqoop
輸出SQOOP_HOME = /ホーム/ Hadoopの/ sqoop-1.4.7.bin__hadoop-2.6.0
輸出のPATH = $ PATH:$ SQOOP_HOME / binに
1.4は、インストールが成功したかどうかを確認sqoop
$ビン/ sqoopヘルプ[hadoop01 sqoop-1.4.7.bin__hadoop-2.6.0 @のHadoop] -执行该命令、看到如下信息就表示成功
警告:/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6 0.0 /../ hcatalogは存在しません!HCatalogジョブは失敗します。
あなたのHCatalogインストールのルートに$ HCAT_HOMEを設定してください。
警告:/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../accumuloは存在しません!Accumulo輸入は失敗します。
あなたのAccumuloインストールのルートに$ ACCUMULO_HOMEを設定してください。
警告:/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/../zookeeperは存在しません!Accumulo輸入は失敗します。
お使いの飼育係インストールのルートに$ ZOOKEEPER_HOMEを設定してください。
エラー:メインクラスorg.apache.hadoop.hbase.util.GetJavaPropertyを見つけるか、または読み込めませんでした。
2019年9月29日23:38:28571 INFO sqoop.Sqoop:実行Sqoopバージョン:1.4.7
使用方法:sqoopコマンド[ARGS]
使用可能なコマンド:
コード生成、データベースのレコードと対話するためのコードを生成し
作成・ハイブ・テーブルのインポートをテーブル定義をハイブに
evalの評価SQL文と結果が表示される
データベーステーブルにHDFSのディレクトリをエクスポートするエクスポート
使用可能なコマンドは、ヘルプ一覧
HDFSに、データベースからのインポートテーブルをインポート
HDFSにデータベースからのインポート-すべてのテーブルのインポートテーブル
メインフレームサーバからのインポート・メインフレームのインポートデータセットHDFSのに
保存されたジョブとジョブの作業
リストのデータベース一覧サーバー上で使用可能なデータベース
リスト-テーブルのリストには、データベースで使用できるテーブルは、
結果をマージマージインクリメンタルインポート
メタストアを実行し、スタンドアロンSqoopメタストアの
バージョンのバージョン情報を表示し
、特定のコマンドの詳細については、「sqoop helpコマンド」を参照してください。
[hadoop01 sqoop-1.4.7.bin__hadoop-2.6.0 @ Hadoopの] $
MySQLで1.5テストSqoop接続
Sqoop表は、ユーザーリストを--username ---パスワード'User_123456' --connect JDBCます。mysql:// localhostを:3306 / hahive 。/ ** **モード1 /
Sqoop-一覧表--username -P --connect JDBCユーザー:MySQLの:// localhostを:3306 / hahive / ** **の実施例2 /
入力したパスワード:
上記の操作を行うことができれば、結果は接続がsqoopのMySQLを説明することができ、見ることができます。