JDK + Hadoopのインストール構成、トランキングモード構造
1.ファイアウォールをオフにします
ファイアウォール-CMD --stateファイアウォールステータス表示ランニング/実行していません
一時的に戻って、各起動時に、ファイアウォールをファイアウォールをオフにfirewalld停止systemctl
firewalld無効systemctlファイアウォールサービスを無効にします。
2.送信JDKと圧縮HADOOP
SecureCRTの[ファイル]→[接続SFTPセッション]オープンSFTP操作
JDK-8u121-linuxの-x64.tar.gzを置きます
Hadoopの-2.7.3.tar.gzを置きます
現在のパスに局所的な電流パス（Windowsの場合）からファイルを転送する（Linux）
3.抽出JDK、HADOOP
JDK-8u121-linuxの-x64.tar.gz -Cは/ opt /モジュールのインストール解凍-zxvfタール
Hadoopの-2.7.3.tar.gz -Cは/ opt /モジュールのインストール解凍-zxvfタール
4.設定JDKおよび発効
追加するのvi / etc / profileファイル：
輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_121
輸出PATH = JAVAHOME / binに：JAVA_HOME / binに：JAVAHOME / binに：PATH
Escキーは：保存して終了しWQ！CLASSPATHを設定する必要はありません。
有効にするソースは/ etc / profileの設定
成功するかどうかのjavacテスト
それとも、別のユーザーのアクセス権のための異なる構成を設定することができ、/.bashrcファイルにJAVA_HOMEを追加します。
効果HADOOPでの構成
追加するのvi / etc / profileファイル：
輸出HADOOP_HOME =は/ opt /モジュール/ Hadoopの-2.7.3
輸出PATH = HADOOPHOME / binに：HADOOP_HOME / binに：HADOOPHOME / binに：HADOOP_HOME / sbinに：$ PATHに
Escキーは：保存して終了しWQ！
有効にするソースは/ etc / profileの設定
Hadoopのテスト成功するかどうか
5.ローカルモードの設定Hadoopの-env.sh
VI /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.shファイルの変更
ディスプレイの行番号Escキー：設定NONUMBER：行番号Escキーをキャンセルする設定数
ライン25の輸出JAVA_HOME =は/ opt /モジュール/ jdk1.8.0_121を変更
Escキー:!保存するWqとして終了
ローカルモードでは、JDKのMapReduceのJavaプログラムを実行することができます設定した後、HDFSと糸ではありません。
6.ファイル名を指定して実行プログラムは語数が来ます
パス語数にcd /opt/module/hadoop-2.7.3/share/hadoop/mapreduceが位置しています
In.txtファイルを作成in.txtタッチ
viのin.txtテキスト単語頻度の統計情報を入力します。
出力in.txtのHadoopジャーのHadoop、MapReduceの-例-2.7.3.jarのWORDCOUNT /
語数を実行し、出力ディレクトリには、プログラムが実行された後に自動的に作成され、存在してはいけません。
大規模なデータ交換研究Qunオススメ：3桁の接頭辞であるqun 606真ん中の3桁の数字があり、859、そして最終的には705を。20:10午後[毎日無料 ]ビッグデータがコースを生きるには、大規模なデータ、大規模なデータの書き込み、大規模なデータウェアハウス、ビッグデータの例、人工知能、データマイニングの分析に焦点を当て、純粋な呉服共有しています、
疑似分散モードの設定のHadoop
Bigdata128,4一つだけの仮想マシン構成ファイル：
1.core-site.xmlに
fs.defaultFSのHDFS：// bigdata128：9000 hadoop.tmp.dir /opt/module/hadoop-2.7.3/tmp
2.hdfs-site.xmlに
dfs.replication 1 dfs.namenode.secondary.httpアドレスbigdata129：50090
mapred-site.xmlの（コンフィギュレーション・ファイルが存在しない、最初のコピー）
CP mapred-site.xml.template mapred-site.xmlに
mapreduce.framework.name糸
糸-site.xmlに
yarn.resourcemanager.hostname bigdata128 yarn.nodemanager.aux-サービスmapreduce_shuffle
フォーマット：HDFS名前ノード-format
起動します。start-all.sh
完全分散Hadoopの設定
3台の仮想マシン、マスターとしてbigdata128分散擬似、他の二つのクローンの仮想マシン奴隷の合計：bigdata129、bigdata131、クローンは、JDK、Hadoopのと設定ファイルをインストールされています。
3仮想マシンは、奴隷を修正2つのノードを追加しています。
私たちは奴隷を/opt/module/hadoop-2.7.3/etc/hadoop
bigdata128
bigdata129
bigdata131
3仮想マシンが変更された\ ETC \ hostsに、クラスタ3 IPホスト名と対応する仮想マシンを追加し、既存のコンテンツに注釈を付けます：
192.168.163.128 bigdata128
192.168.163.129 bigdata129
192.168.163.131 bigdata131
三\ ETC \ホスト名を変更するには、各仮想マシンは、自身のホスト名またはbigdata128 bigdata129またはbigdata131を追加します。
すべての仮想マシンを再起動し、ホスト名を有効にします。
3仮想マシンがTMPのD \ \のopt \モジュール\のHadoopの-2.7.3を削除され、ディレクトリを記録します。
RM -rf \オプト\モジュール\のHadoop-2.7.3 \ TMPのrm -rf \オプト\モジュール\のHadoop-2.7.3ログ\
フォーマットマスター：HDFS名前ノード-format
マスターを起動します。start-all.sh
ます。https：//www.jianshu.com/p/1a0bbb111464で再現