centos7疑似分散クラスタを構築
必要
centos7仮想マシン、1台湾;
パッケージJDK-Linuxの取り付け
Hadoopの-2.xのインストールパッケージ(2.7.35推奨)
仮想マシンのネットワーク静的IPのセット(好ましくは、静的セットは、プログラミング後に容易にすることがない静的IPなくてもよいです)
1、ネットワーク構成図のIPアドレスを入力してください
2、NATモードセレクトチェーン接続
3.に背を使用し、ゲートウェイのIPを覚えて、NAT設定]をクリックします
図4に示すように、端末に、次のコマンドを入力します。VIMし、CD / etc / sysconfig / network-scriptsに、./ifcfg-eth0、(いくつかの仮想マシンファイルがある:のifcfg-ens33)と、以下のセット、
[IPADDR静的IPアドレス、ゲートウェイIPフォーマットがトップ3と同じでなければなりません:X 1〜255の間192.168.13.X]
GATWAYは、ゲートウェイIPの前に覚えています。
図に示すように、他の。
サービスネットワークの再起動:5、ネットワークサービスを再起動します
図6に示すように、ネットワークテスト:ピング・ゲートウェイ、ネットワークの外部のping。pingを実行することができ、ネットワークが正常である、とあなたは(ホスト・ネットワークの場合)行われていることを示しています
成功の図の記号:
第二に、SSHログインのない秘密を設定(パスワードを毎回入力する必要はありませんオープンクラスタ・サービス)
1、コマンド:SSH-keygenのすべての方法のラウンド。出会いの上書き(上書き)、yを入力します
2、ネイティブのアドレスに生成されたキー:SSH-コピー-IDのローカルホスト
3、あなたが密なログインを避けることができるかどうかをテストします。それはOKイラストで表示された場合は、
第三に、インストールJava環境(JDK)
1、仮想マシンは、DKが付属してアンマウント。
JDKのバージョンを確認
ます。rpm -qa | grepのJDK
ます。rpm -qa | grepのGCJ
その結果に基づいて、ルートへの切り替えは、Javaのアンロード
YUMのjava-1.8.0-OpenJDKの-headless.x86_64を削除-y
YUMのjava-1.7.0-OpenJDKの-headless.x86_64を削除-y
クリーンアンインストールJDKのJava -versionかどうかをテスト2、
3、JDKをインストールします。
特定のフォルダへのjdk-のlinux-XXXエキス(中国を持っていない、良いパスを覚えています)
pwdコマンドを流れる電流の経路を見ます
4、環境変数を設定します
rootユーザーの下では、普通のユーザーに割り当てられて/ etc / profileを許可ます。chown -R ZCK:ZCKは/ etc / profile(ZCKが私の通常のユーザー名である、または通常のユーザーは、環境変数を変更することはできません)
環境変数を変更し、平均的なユーザー(ZCK)の下に移動します:vimの/ etc / profileを(あなたのJDKパスに注意を払います)
#java 輸出JAVA_HOME = /ホーム/ Hadoopの/アプリ/ jdk1.8.0_141 輸出JAVA_JRE = JAVA_HOME / JRE 輸出CLASSPATH =。$ JAVA_HOME / libに:$ JAVA_JRE / libに 輸出PATH = $ PATHに:$ JAVA_HOME / binに |
5、有効にする、および/ etc / profileファイルを保存して終了:ソースは/ etc / profile
6、JDKテスト環境:Javaの-version
第四に、インストールのHadoop
(JDKに)1、抽出のHadoop
図2に示すように、環境変数(実質的に同じJDKにステップ)を設定します。
#hadoop |
3、テスト(そうでない場合は、環境変数が有効になりません変更ソースは/ etc / profileに保存した後)
第五に、疑似分散ビルド
設定ファイルを変更します6
ファイルのディレクトリを入力します../hadoop/etc/hadoop
1は、コア-site.xml構成ファイルを変更する(ローカルホストの静的IPの前に設定を変更することをお勧めします)
<設定> <プロパティ> <名前> fs.defaultFS </名前> <値> HDFS:// localhostを:9000 </ value>の </プロパティ> <プロパティ> <名前> hadoop.tmp.dir </名前> <value>のファイル:/データは/ tmp </ value>の </プロパティ> <プロパティ> <名前> hadoop.proxyuser.hadoop.hosts </名前> <値> * </ value>の </プロパティ> <プロパティ> <名前> hadoop.proxyuser.hadoop.groups </名前> <値> * </ value>の </プロパティ> </設定> |
2、プロファイル変更HDFS-site.xmlの
<設定> <プロパティ> <名前> dfs.namenode.name.dir </名前> <値> /データ/ DFS /名前</ value>の <ファイナル>真</ファイナル> </プロパティ> <プロパティ> <名前> dfs.datanode.data.dir </名前> <値> /データ/ DFS /データ</値> <ファイナル>真</ファイナル> </プロパティ> <プロパティ> <名前> dfs.replication </名前> <値> 1 </値> </プロパティ> <プロパティ> <名前> dfs.permissions </名前> <value>は偽</ value>の </プロパティ> </設定> |
図3に示すように、コンフィギュレーション・ファイルhadoop-env.sh(JDK位置変化)を変更
4、改変mapred-site.xml.templateプロファイル(第mapred-site.xmlの名前を変更します)
<設定> <プロパティ> <name>mapreduce.frameword.name</name> <value>yarn</value> </property> </configuration> |
5、修改yarn-site.xml配置文件
<property> <name>yarn.nodemanager.aux-servies</name> <value>mapreduce_shuffle</value> </property> </configuration> |
使修改生效,命令:sourec /etc/profile
6、格式化namenode
切回到hadoop目录,输入如下命令:bin/hdfs namenode -format
启动hadoop伪分布式集群:sbin/start-all.sh
启动完毕输入jps查看