Hadoop環境構築教育(2)完全に分散されたクラスター構築。

Hadoop環境構築教育(1)動作環境、クラスター計画の概要。


3つのCentOS7システムをインストールします

リンクリファレンス:CentOS7のダウンロードとインストール

(.iso镜像)CentOS-7-x86_64-Minimal-2009.zip

1.Xシェルの準備

仮想マシンは3つあるため、X-Shellを使用して仮想マシンの操作をリモートで制御する必要があります。これは、より便利で便利です。

リソースのダウンロード:Xshell7 + Xftp.rar無料バージョン

参考記事:https//blog.csdn.net/weixin_45556441/article/details/114944592

2.基本的なツールのインストール

時刻同期ツールをインストールする

#!安装ntpdate工具
[root@node01 ~]# yum -y install ntp ntpdate
#!设置与网络时间同步
[root@node01 ~]# ntpdate cn.pool.ntp.org
#!系统时间写入硬件时间【将硬件时钟调整为与目前的系统时钟一致】
[root@node01 ~]# hwclock --systohc

vimエディターをインストールする

各ノードには、デフォルトのviエディターを使用する代わりに、vimエディターがインストールされています

[root @ node01〜] #yum -y install vim

ファイルアップロード(rz)ダウンロード(sz)ツール

Xshellツールのrzを介してファイルをアップロードし、ファイルアップロードウィンドウを呼び出すか、szファイル名でファイルをダウンロードし、ファイルをシェルパネルにドラッグして直接アップロードすることでファイルをアップロードできます。[node01にインストールするだけ]

[root @ node01〜] #yum -y install lrzsz

ネットワークダウンロードツールwgetをインストールします

それらの1つをインストールできます[node01にインストール]

[root @ node01〜] #yum -y install wget

3.ファイアウォールをオフにします

各ノードは、ファイアウォールを閉じてファイアウォールの起動を禁止する操作を実行する必要があります

#!ファイアウォールのオープンステータスを確認する[execute]
[root @ node01〜] #systemctl status Firewalld
#!ファイアウォールをオフにする[execute]
[root @ node01〜] #systemctl stopファイアウォールd
#!ファイアウォールの起動を禁止する[execute]
[root @ node01〜] #systemctl disable Firewalld

4.ホストファイルを変更します

ホストファイルを変更し、次のコンテンツを追加すると、すべてのノードがこの操作を実行します

注:ファイルの最初の2行を削除またはコメントアウトします。コメントする場合は、各行の先頭に#を入力してください。

[root @ node01〜] #vim /etc/hosts#127.0.0.1
localhost localhost.localdomain localhost4 localhost4.localdomain4
#:: 1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.101 node01
192.168.100.102 node02
192.168.100.103 node03

V.3.4.4SSHパスワードなしのログインを構成する

パスワードなしのログインを構成する目的は、ホストが相互に信頼し、パスワードなしでアクセスできるようにすることです[キーと同様]。

#! 每台节点先使用ssh执行以下,以在主目录产生一个.ssh 文件夹
[root@node01 ~]# ssh 192.168.100.101
#! 然后输入no即可
The authenticity of host '192.168.100.101 (192.168.100.101)' can't be established.
ECDSA key fingerprint is SHA256:PamSi9sKideQkXQWm9stSYkf85oydA+TUbwiBtXkf4E.
ECDSA key fingerprint is MD5:5b:17:f8:7c:ae:49:27:f8:2a:24:30:65:a6:f3:4a:49.
Are you sure you want to continue connecting (yes/no)? no
Host key verification failed.
#! 每台机器均进入~/.ssh 目录进行操作
[root@node01 ~]# cd ~/.ssh
#! 输入以下命令,一路回车,用以产生公钥和秘钥
[root@node01 .ssh]# ssh-keygen -t rsa -P ''
#! 出现以下信息说明生成成功
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:KU0Z/kXpvREFPvkq6wBwog8NLjZ6fSQDyM+747BtUsA root@node01
The key's randomart image is:
+---[RSA 2048]----+
|        .   ...o.|
|..     . o ..... |
|o.. . o =  ...+. |
| Eoo + * o .. oo |
|  =o* + S .    o.|
| o =.* . .    .. |
|..o.. o   . . .  |
| o+o..     . o   |
| .++.      .o    |
+----[SHA256]-----+
#! 将每台机器上的id_rsa.pub公钥内容复制到authorized_keys文件中
[root@node01 .ssh]# cp id_rsa.pub authorized_keys
#! 将所有的authorized_keys文件进行合并(最简单的方法是将其余两台node主机的文件内容追加到node01主机上)
[root@node02 .ssh]# cat ~/.ssh/authorized_keys | ssh root@node01 'cat >> ~/.ssh/authorized_keys'
[root@node03 .ssh]# cat ~/.ssh/authorized_keys | ssh root@node01 'cat >> ~/.ssh/authorized_keys'
#! 查看node01上的authorized_keys文件内容,类似如下即可
[root@node01 .ssh]# more authorized_keys 
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCqJi/Q061hGWv91WkRl+fpvoiQ6OyqLSc4lu5KR0FLmWmRxu/Bp1AeuBzf1V8YyjK+UNapYQMgX2/0RPjDWdCKfchrfhvQz9rOX7w8bqmcYGS44EFvy0kxBxPRUd0q/X/cm6J9tvOHsgKJEXIzTG1HD+arjUBmgbP6MOr1mH3UgjJqkhRS5SYP+RcbrRDnTVH+9IE2bKBBHadxK2r8GlP6DL/CtjjYAQSms9x9b9YR9rk/hDUmRO6piq+upy2Gmp4br1EnRTk3LLgIe5sJZQiBQOaoULL7tj6J7D2LXbC0z+a9p8s/PfE/G/7jhxBAoYpzB30JV5BPZmz702JOQjRn root@node01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDLeDS5mF/PwxExo++I99A3BfK8gyaLUYC8mZGLT4q0H8Skb/7jN1qIjb8MfwubluoIKiHWrA2h/4iEkb2rBzEfUy/JxP+5a+zpi5NIOcVCX1PcNb7mPmWm1X42Zp6/hOZVXnAHfQv4ZuEZRZrp49GmOnZR8g5mz8Gpr0rl9hk0c1m50qpfY6I8EYjQ200suo/9vkd941Qquk3aX4A+6huAZq1Lu8B1EyTTDoV6cWS1eN4AbEdN4nedYN1NqfN5KxYs9ujCfCNfmF41l7HS8vgPc4Yu0aI4LmZnmFhLei0FdK6HSE03nptm7YJ45oDux5iehxXT8M0nvwC2JcK26aoD root@node02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDTpPnqphGbBH3vqFFdI0oxq1EmI0zWbrl/52qIy6ysvJ+cqib34XzFHs4N61P4pyXwzL7tgMaYrAw0YfVMbZwmK3AAlpxlLTpfWLii/dBTazGcXaHhR0J3s6qKIwu3ZEaeAUGWyGO4KU1uMWM9foLWeAQthTJhYj4HmE2YNmHV5M39uw+F0j2JXMiWZBLEaklu/IpuWY0IgYVvj/uACowmeFUHHWsYezH0GbxcHPpLnenSfcWxUAXNNaVYURKV6WnXqmsxV/9k8rWQ49Apk5AjHsAKpdWRXEzGVr0FBBydoGkCCNvgrr1ORAAiUnFOp0ZEx/Pq9T8cQVdCjk0pILwv root@node03
#! 将node01上的authorized_keys文件分发到其他主机上
[root@node01 .ssh]# scp ~/.ssh/authorized_keys root@node02:~/.ssh/
[root@node01 .ssh]# scp ~/.ssh/authorized_keys root@node03:~/.ssh/
#! 每台机器之间进行ssh免密码登录操作,包括自己与自己
[root@node01 ~]# ssh node01
[root@node01 ~]# ssh node02
[root@node02 ~]# ssh node01
[root@node01 ~]# ssh node03
[root@node03 ~]# ssh node01
[root@node01 ~]# ssh node02
[root@node02 ~]# ssh node02
[root@node02 ~]# ssh node03
[root@node03 ~]# ssh node02
[root@node02 ~]# ssh node03
[root@node03 ~]# ssh node03

ここに画像の説明を挿入します

おすすめ

転載: blog.csdn.net/weixin_45556441/article/details/114707500