アップHadoopのローカルモード、擬似分布パターン、分散クラスタのインストール（コメント）

その他 2020-03-10 21:56:41 訪問数: null

予備的

  1. Linuxをインストールするには、仮想マシンをインストールします（少し）
  2. ネットワークアドレス（NAT）を設定（省略）

​

 [root@hadoopNode1 ~]# vi  /etc/sysconfig/network-scripts/ifcfg-ens33

注：IPアドレスを確認するには、ネットワークセグメント

​

  1. 修改hostname配置（略）

 [root@hadoopNode1 ~]# vi     /etc/hostname

英語の文字でメインコンピュータ名を良い後の設定を変更することはできません注：

  1. 修改hosts映射配置（）

例：192.168.138.100 HadoopNode1

  1. （少し）、ファイアウォールをオフにします

    閉じます：

    無効にブーツ：

    [root@hadoopNode1 ~]#systemctl stop firewalld   

[root@hadoopNode1 ~]#systemctl disable firewalld

    オペレーティングシステムを有効にするには再起動

  2. 创建用户ambow，并创建密码ambow（略）

 [root@hadoopNode1 ~]#     useradd ambow
 
 [root@hadoopNode1 ~]#    passwd  ambow
  1. root権限はsudoとセットambowユーザー

使用して、ルート以下のように、ユーザーには、/ etc / sudoersファイルを変更し、行を見つけ、ルートの下の行を追加：

[ambow@ master soft]# vi /etc/sudoers

## Allow root to run any commands anywhere 

root ALL=(ALL) ALL 

ambow ALL=(ALL) ALL

あなたはroot権限が動作するために得ることができ、ambow - 変更は、今ambowアカウントにログインすること、及び、その後のsuコマンドを使用することができます。

  1. JDKをインストールします。

    タールパッケージ：
    [ambow@hadoopNode1 ~]$ pwd
/home/ambow
[ambow@hadoopNode1 ~]$ mkdir soft
[ambow@hadoopNode1 ~]$ mkdir app
[ambow@hadoopNode1 ~]$ ls
app  soft
[ambow@hadoopNode1 ~]$ tree .
.
├── app
└── soft
    ├── hadoop-2.7.3.tar.gz
    ├── jdk-8u121-linux-x64.tar.gz
    └── zookeeper-3.4.6.tar.gz

2 directories, 3 files
[ambow@hadoopNode1 ~]$ pwd
/home/ambow
[ambow@hadoopNode1 ~]$ tar -zxvf ./soft/jdk-8u121-linux-x64.tar.gz  -C  ./app/

    ​

設定JDK：

​

[ambow@hadoopNode1 jdk1.8.0_121]$ vi  ~/.bash_profile
[ambow@hadoopNode1 jdk1.8.0_121]$ cat ~/.bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

JAVA_HOME=/home/ambow/app/jdk1.8.0_121

PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin

export PATH
export JAVA_HOME

[ambow@hadoopNode1 jdk1.8.0_121]$
[ambow@hadoopNode1 jdk1.8.0_121]$ source ~/.bash_profile

ソース〜/ .bash_profileを有効にする設定ファイルを作ります

  1. OSの再起動
    リブート
    3つのモデルのHadoopのインストールを

    式の開発とデバッグのために1.ローカルモード

    小さなクラスターの2擬似分散シミュレーション
    ホストマルチホストシミュレーション

    データノードResouceMangerは名前ノード、ノードマネージャ起動
    ）3.クラスタモード:(本番環境を

    複数のホストは、それぞれNaameNode、データノードとして動作します。。。。
    ネイティブHadoopのインストールモード：

Hadoopのネイティブモードインストール

  1. 解凍ソフトのHadoop

    [ambow@hadoopNode1 sbin]$ tar -zxvf   ~/soft/hadoop-2.7.3.tar.gz  -C  ~/app/

    ​

  2. Hadoopの設定環境変数

  ```shell
  [ambow@hadoopNode1 hadoop-2.7.3]$ vi ~/.bash_profile
  [ambow@hadoopNode1 hadoop-2.7.3]$ cat  ~/.bash_profile
  # .bash_profile

  # Get the aliases and functions
  if [ -f ~/.bashrc ]; then
          . ~/.bashrc
  fi

  # User specific environment and startup programs

  JAVA_HOME=/home/ambow/app/jdk1.8.0_121

  HADOOP_HOME=/home/ambow/app/hadoop-2.7.3

  PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  export PATH
  export JAVA_HOME
  export HADOOP_HOME

  ```

  ​

  1. 環境変数を有効にします

    [ambow@hadoopNode1 hadoop-2.7.3]$ source ~/.bash_profile

    ​

  2. テスト

新しいテスト・データ・ファイル：〜/データ/ mydata.txtという

テスト構文：

Hadoopのジャー$ HADOOP_HOME /共有/ Hadoopの/ MapReduceの/ HadoopのMapReduceの--例-2.7.3.jarクラス名のディレクトリO

[ambow@hadoopNode1 mydata.out]$ hadoop jar ~/app/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount  ~/data/mydata.txt   ~/data/mydata.out2

疑似分布パターンの設定：

  1. JDKのインストール

  2. Hadoopのインストール

  3. 配置のHadoop的$ HADOOP_HOMEの/ etc / Hadoopの/コア- siter.xml
    fs.defaultFS
    hadoop.tmp.dir

    [ambow@hadoopNode1 hadoop]$ vi   $HADOOP_HOME/etc/hadoop/core-site.xml

    ​

    <configuration>
    <!--   配置默认FS  hadoop3.X 默认端口为9820   hadoop2.X  默认端口为8020  hadoop1.X  默认端口为9000    一般伪分布设置为localhost:8020 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>

  <!-- 指定hadoop运行时产生文件存储的目录   会自动创建  不建议默认 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ambow/hdfs/data</value>
    </property>

</configuration>

    ​

    ​

  4. 設定HDFS-siter.xml

    ブロックコピーdfs.replicationの数を設定：擬似分布パターンのみに設定することができ、デフォルト3

    [ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

    ​

    <configuration>
        
     <property>
          <!--  配置每个block的副本个数 默认3个  当是单节点时配置为1    不能配置态多，态多反而降低效果 -->
         <name>dfs.replication</name>
          <!--  伪分布式只能配1个副本 -->
         <value>1</value>
     </property>

</configuration>

  5. フォーマット

[ambow@hadoopNode1 ~]$ hadoop namenode -format

一度だけ一般的なフォーマット、再び、矛盾ID番号のデータノードと名前ノードクラスタを防ぐために、各データノードデータノードを削除する必要が推奨される形式が起動できない場合

[画像のチェーンは、失敗したダンプの外に、ソースステーションは、直接ダウンアップロードした写真を保存することが推奨され、セキュリティチェーン機構を有していてもよい（IMG-pto6Dc2v-1575559953078）（。\ Hadoop_imag \ 1565854449952.png）]

6.スタート
hadoop-daemon.shスタート名前ノード
hadoop-daemon.shスタートデータノード

hadoop-daemon.shストップ名前ノード
hadoop-daemon.sh停止データノード

7.レビュープロセス
JPS

  1. ログログファイル
    〜/ソフト/ hadop /ログ

9：ビューへのWebアクセス
http://192.168.100.100:50070/

  1. configure MRにYARN上の2つのプロファイルを実行します

    配置mapred-siter.xml

    [ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

    <configuration>
     <property>
         <!--  指定MapReduce使用Yarn资源管理框架  -->
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

    ​

  2. 糸siter.xmlの設定

yarn.resourcemanger.hostnameの
yarn.nodemaager.auxサービス

<configuration>
     <property>
         <!--  指定yaran主要管理一个机节点   主机名 -->
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoopNode1</value>
     </property>
     <property>
          <!-- 使用mapreduce_shuffle服务    -->
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
    
</configuration>
  1. スタート糸
[ambow@hadoopNode1 data]$ yarn-daemon.sh start resourcemanager

[ambow@hadoopNode1 data]$ yarn-daemon.sh start nodemanager

​

  1. MRテスト動作

アップロードのLinuxシステム〜/データ/ mydata.txtというファイルHDFSファイルシステム/ユーザー/ ambowディレクトリへの

[ambow@hadoopNode1 data]$ hadoop dfs -put ~/data/mydata.txt   /user/ambow

動作させるためにヤンの語数を使用してHDFSファイル：


 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount  /user/ambow/mydata.txt   /user/ambow/output/wc/

分散クラスタのインストール
1.修理の/ etc / hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.200  hadoopNode1
192.168.100.201  hadoopNode2
192.168.100.202  hadoopNode3
192.168.100.203  hadoopNode4

クローン2 2.疑似分散モードVM

[チェーンが失敗したイメージのダンプ、発信局は、直接アップロード（IMG-zh4Yl3nz-1575560034539）（C：\ Users \ユーザーLDG \のAppData \ローカル\一時\ 1565926490995.png）ダウン画像を保存することが推奨され、セキュリティチェーン機構を有していてもよいです]

3.構成し、各仮想マシンノード：IPアドレス、ホスト名、マップファイル

[root@hadoopNode2 ~]# vi /etc/hostname
[root@hadoopNode2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
[root@hadoopNode2 ~]# vi /etc/hosts

設定を確認します。4.

[root@hadoopNode2 ~]# ping hadoopNode1
PING hadoopNode1 (192.168.100.200) 56(84) bytes of data.
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=1 ttl=64 time=0.190 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=2 ttl=64 time=0.230 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=3 ttl=64 time=0.263 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=4 ttl=64 time=0.227 ms
^C64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=5 ttl=64 time=0.195 ms
64 bytes from hadoopNode1 (192.168.100.200): icmp_seq=6 ttl=64 time=0.268 ms
^C
--- hadoopNode1 ping statistics ---
6 packets transmitted, 6 received, 0% packet loss, time 5000ms
rtt min/avg/max/mdev = 0.190/0.228/0.268/0.035 ms
[root@hadoopNode2 ~]# ping hadoopNode2
PING hadoopNode2 (192.168.100.201) 56(84) bytes of data.
64 bytes from hadoopNode2 (192.168.100.201): icmp_seq=1 ttl=64 time=0.011 ms
64 bytes from hadoopNode2 (192.168.100.201): icmp_seq=2 ttl=64 time=0.022 ms
^C
--- hadoopNode2 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.011/0.016/0.022/0.006 ms
[root@hadoopNode2 ~]# ping hadoopNode3
PING hadoopNode3 (192.168.100.202) 56(84) bytes of data.
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=1 ttl=64 time=0.246 ms
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=2 ttl=64 time=0.218 ms
64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=3 ttl=64 time=0.218 ms
^C64 bytes from hadoopNode3 (192.168.100.202): icmp_seq=4 ttl=64 time=0.227 ms
^C
--- hadoopNode3 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3001ms
rtt min/avg/max/mdev = 0.218/0.227/0.246/0.015 ms

マスタースレーブマスタスレーブアーキテクチャ

  1. マスターノードでは無料のやる気の秘密の着陸を設定

1）。ザ・マスターノードは、公開鍵と秘密鍵を生成し、

​

ssh-keygen -t rsa

2）分布

  ssh-copy-id  localhost

  ssh-copy-id   hadoopNOde1

  ssh-copy-id  hadoopNOde2

  ssh-copy-id  hadoopNOde3

3）パスワードが必要になるかどうかを確認するために、マスターノード上の各ノードを上陸させたことを確認します

ssh  hadoopNode2
ssh   hadoopNode3

6.設定コアファイルコア - siter.xml

[ambow@hadoopNode1 hadoop]$ vi core-site.xml

<configuration>
    <!--   配置默认FS  hadoop3.X 默认端口为9820   hadoop2.X  默认端口为8020  hadoop1.X  默认端口为9000    一般伪分布设置为localhost:8020 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoopNode1:8020</value>
    </property>

  <!-- 指定hadoop运行时产生文件存储的目录   会自动创建  不建议默认 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ambow/hdfs/data</value>
    </property>

</configuration>
  1. HDFS-site.xmlの

<configuration>

     <property>
          <!--  配置每个block的副本个数 默认3个  当是单节点时配置为1    不能配置态多，态多反而降低效果 -->
         <name>dfs.replication</name>
          <!--  伪分布式只能配1个副本 -->
         <value>3</value>
     </property>


         <property>
                <!--     设置第辅助主节点  2NN -->
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoopNode2:50090</value>
        </property>

        <property>
                <!--     检查点的路径  -->
                <name>dfs.namenode.checkpoint.dir</name>
                <value>/home/ambow/hdfs/namesecondary</value>
        </property>


</configuration>

8.mapred-site.xmlに

<configuration>
     <property>
         <!--  指定MapReduce使用Yarn资源管理框架  -->
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>
  1. 糸-site.xmlに
<configuration>

<!-- Site specific YARN configuration properties -->

     <property>
         <!--  指定yaran主要管理一个机节点  -->
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoopNode1</value>
     </property>

     <property>
          <!-- 使用mapreduce_shuffle服务    -->
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>

</configuration>

現在のクラスタ・ノードを指定する10.変更スレーブファイルスレーブファイルにノードのホスト名を追加するデータノードをそれらのノードであります

[ambow@hadoopNode1 hadoop]$ vi $HADOOP_HOME/etc/hadoop/slaves



hadoopNode1
hadoopNode2
hadoopNode3

11.他のノードにファイルを配布します

注意：配布する前に、すべてのサービスを停止するには

 网络复制:语法: scp  -r 源文件目录    用户名@主机名:目标路径
  -r 递归复制

[ambow@hadoopNode1 hadoop]$ scp  -r  $HADOOP_HOME/etc/hadoop   ambow@hadoopNode2:$HADOOP_HOME/etc/

[ambow@hadoopNode1 hadoop]$ scp  -r  $HADOOP_HOME/etc/hadoop   ambow@hadoopNode3:$HADOOP_HOME/etc/

注：配信サービスの終了前に停止してください
フォーマットへの使用後に配布します

12.テスト

start-all.sh（スタート）

stop-all.sh（停止）

地球を作っていません
公開された133元の記事 ・ ウォン称賛53 ・ ビュー20000 +
プライベートの手紙の 懸念

おすすめ

転載: blog.csdn.net/weixin_43599377/article/details/103414305
おすすめ
ランキング
uni.request在接口状态码403等还是走success
Springboot は mybatisplus を統合しており、ページング クエリによって返される Page オブジェクトの合計は常に 0 です。
System.InvalidOperationExceptionが：「BuildWindowCoreは、子ウィンドウのハンドル搭乗を返しません。」
[Example 08] IPD system advancement: version naming rules for version management
カスタム NavigationBar -- UIView による描画
データとデータの移行を復元します（個人的なメモ、無用リーダー）
4. 2次元配列で検索する
vim的私人订制
Flutterのカスタムルーティング切り替えアニメーション
Javaコンテナの方法の簡単なアプリケーションのArrayList
アーカイブ
もっと
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)
2024-05-08(18)
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)

コードワールド

© 2018 codetd.com