centos7疑似分散クラスタを構築

centos7疑似分散クラスタを構築

必要

  centos7仮想マシン、1台湾;

  パッケージJDK-Linuxの取り付け

  Hadoopの-2.xのインストールパッケージ(2.7.35推奨)

 

仮想マシンのネットワーク静的IPのセット(好ましくは、静的セットは、プログラミング後に容易にすることがない静的IPなくてもよいです)

1、ネットワーク構成図のIPアドレスを入力してください

 

2、NATモードセレクトチェーン接続

3.に背を使用し、ゲートウェイのIPを覚えて、NAT設定]をクリックします

 

 

図4に示すように、端末に、次のコマンドを入力します。VIMし、CD / etc / sysconfig / network-scriptsに、./ifcfg-eth0、(いくつかの仮想マシンファイルがある:のifcfg-ens33)と、以下のセット、

[IPADDR静的IPアドレス、ゲートウェイIPフォーマットがトップ3と同じでなければなりません:X 1〜255の間192.168.13.X]

GATWAYは、ゲートウェイIPの前に覚えています。

図に示すように、他の。

 

 

 サービスネットワークの再起動:5、ネットワークサービスを再起動します

 

 

 図6に示すように、ネットワークテスト:ピング・ゲートウェイ、ネットワークの外部のping。pingを実行することができ、ネットワークが正常である、とあなたは(ホスト・ネットワークの場合)行われていることを示しています

成功の図の記号:

 

 

 

第二に、SSHログインのない秘密を設定(パスワードを毎回入力する必要はありませんオープンクラスタ・サービス)

  1、コマンド:SSH-keygenのすべての方法のラウンド。出会いの上書き(上書き)、yを入力します

  

 

 

   2、ネイティブのアドレスに生成されたキー:SSH-コピー-IDのローカルホスト

  

 

 

   3、あなたが密なログインを避けることができるかどうかをテストします。それはOKイラストで表示された場合は、

  

 

 

 第三に、インストールJava環境(JDK)

1、仮想マシンは、DKが付属してアンマウント。 

  JDKのバージョンを確認

  ます。rpm -qa | grepのJDK

  ます。rpm -qa | grepのGCJ

  

  その結果に基づいて、ルートへの切り替えは、Javaのアンロード

  YUMのjava-1.8.0-OpenJDKの-headless.x86_64を削除-y

  YUMのjava-1.7.0-OpenJDKの-headless.x86_64を削除-y

クリーンアンインストールJDKのJava -versionかどうかをテスト2、

  

 

 

3、JDKをインストールします。

  特定のフォルダへのjdk-のlinux-XXXエキス(中国を持っていない、良いパスを覚えています)

  

  pwdコマンドを流れる電流の経路を見ます

  

 

 

   

 

  

 

 

4、環境変数を設定します

  rootユーザーの下では、普通のユーザーに割り当てられて/ etc / profileを許可ます。chown -R ZCK:ZCKは/ etc / profile(ZCKが私の通常のユーザー名である、または通常のユーザーは、環境変数を変更することはできません)

  

  

  環境変数を変更し、平均的なユーザー(ZCK)の下に移動します:vimの/ etc / profileを(あなたのJDKパスに注意を払います)

  

 

 

   

 

 

#java

輸出JAVA_HOME = /ホーム/ Hadoopの/アプリ/ jdk1.8.0_141

輸出JAVA_JRE = JAVA_HOME / JRE

輸出CLASSPATH =。$ JAVA_HOME / libに:$ JAVA_JRE / libに

輸出PATH = $ PATHに:$ JAVA_HOME / binに

5、有効にする、および/ etc / profileファイルを保存して終了:ソースは/ etc / profile

 

 

 

 6、JDKテスト環境:Javaの-version

 

 

 第四に、インストールのHadoop

  (JDKに)1、抽出のHadoop

  図2に示すように、環境変数(実質的に同じJDKにステップ)を設定します。

#hadoop
輸出HADOOP_HOME = /ホーム/ ZCK /ソフトウェア/のHadoop
= $ PATHの輸出PATH:$ HADOOP_HOME / binに:$ HADOOP_HOME / sbinに

 

 

 

 3、テスト(そうでない場合は、環境変数が有効になりません変更ソースは/ etc / profileに保存した後)

 

 

 第五に、疑似分散ビルド

設定ファイルを変更します6

ファイルのディレクトリを入力します../hadoop/etc/hadoop

 

 

 

1は、コア-site.xml構成ファイルを変更する(ローカルホストの静的IPの前に設定を変更することをお勧めします)

<設定>

<プロパティ>

        <名前> fs.defaultFS </名前>

        <値> HDFS:// localhostを:9000 </ value>の

</プロパティ>

<プロパティ>

        <名前> hadoop.tmp.dir </名前>

        <value>のファイル:/データは/ tmp </ value>の

</プロパティ>

<プロパティ>

        <名前> hadoop.proxyuser.hadoop.hosts </名前>

        <値> * </ value>の

</プロパティ>

<プロパティ>

        <名前> hadoop.proxyuser.hadoop.groups </名前>

        <値> * </ value>の

</プロパティ>

</設定>

2、プロファイル変更HDFS-site.xmlの

<設定>

<プロパティ>

        <名前> dfs.namenode.name.dir </名前>

        <値> /データ/ DFS /名前</ value>の

        <ファイナル>真</ファイナル>

</プロパティ>

<プロパティ>

        <名前> dfs.datanode.data.dir </名前>

        <値> /データ/ DFS /データ</値>

        <ファイナル>真</ファイナル>

</プロパティ>

<プロパティ>

        <名前> dfs.replication </名前>

        <値> 1 </値>

</プロパティ>

<プロパティ>

        <名前> dfs.permissions </名前>

        <value>は偽</ value>の

</プロパティ>

</設定>

図3に示すように、コンフィギュレーション・ファイルhadoop-env.sh(JDK位置変化)を変更

 

 

 

 

4、改変mapred-site.xml.templateプロファイル(第mapred-site.xmlの名前を変更します)

<設定>

<プロパティ>

        <name>mapreduce.frameword.name</name>

        <value>yarn</value>

</property>

</configuration>

5、修改yarn-site.xml配置文件

<property>

        <name>yarn.nodemanager.aux-servies</name>

        <value>mapreduce_shuffle</value>

</property>

</configuration>

使修改生效,命令:sourec /etc/profile

 

6、格式化namenode

切回到hadoop目录,输入如下命令:bin/hdfs  namenode -format

 

 启动hadoop伪分布式集群:sbin/start-all.sh

 

 启动完毕输入jps查看



 

おすすめ

転載: www.cnblogs.com/2016-zck/p/11449333.html