Hadoopクラスタのセットアップ-01準備

Hadoopクラスタのセットアップ-05マウント構成糸

HadoopクラスタのセットアップHDFSのインストール構成-04 

Hadoopクラスタのセットアップ-03コンパイルとインストールのHadoop

Hadoopクラスタのインストール設定飼育係を構築するために-02

Hadoopクラスタのセットアップ-01準備

Hadoopクラスタ全体のビルドプロセスを含みます

  1. 予備的
  2. 環境を飼育係のインストールと設定
  3. Hadoopの開始をコンパイルしてインストールします
  4. HDFSのインストールと管理名前ノードdatanameハードディスクのクラスタリソース管理
  5. インストールブート糸は、MapReduceのCPUとメモリリソースの管理を構築します

01準備:

1. Deployment環境

  • VMware15
  • CentOS7
  • jdk8

 まず、仮想マシンを起動し、1台湾centos7、コンフィギュレーション、Huawei社のクラウドのyumソース

[root@localhost ~]# cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo https://repo.huaweicloud.com/repository/conf/CentOS-7-reg.repo
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache
[root@localhost ~]# yum update -y

その後、いくつかの一般的に使用されるソフトウェアの混乱をインストール

[root@localhost ~]# yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd

2.仮想マシンのファイアウォールとSELinuxの設定をオフにします

[root@localhost ~]# firewall-cmd --state
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# systemctl is-enabled firewalld.service
[root@localhost ~]# /usr/sbin/sestatus -v  查看selinux的状态
[root@localhost ~]# vim /etc/selinux/config
#修改状态为关闭
SELINUX=disabled
[root@localhost ~]# reboot

3.インストールし、環境変数を設定jdk8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlをダウンロード

[root@localhost ~]# rpm -ivh jdk-8u144-linux-x64.rpm
[root@localhost ~]# vim /etc/profile
#修改环境变量,在文件末尾添加如下
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

ユーザーの修正は永続的にグローバルに有効になりたい、有効にするだけでこのセッションに対応した後、我々はしなければなりません

[root@localhost ~]# source /etc/profile

4.にntpdateサービスをインストールし、各仮想マシンを再有効化便利な同期時間後に中断されます

[root@localhost ~]# yum install -y ntp-tools
[root@localhost ~]# ntpdate ntp1.aliyun.com

5. Hadoopのユーザーとグループを作成し、ホイールのグループを追加

[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd hadoop

コマンドは、セキュリティを向上させる、ルートルートとしてログインする - のみwheelグループ内のユーザーは、suコマンドができることができます

[root@localhost ~]# sed -i 's/#auth\t\trequired\tpam_wheel.so/auth\t\trequired\tpam_wheel.so/g' '/etc/pam.d/su'
[root@localhost ~]# cp /etc/login.defs /etc/login.defs_bak
[root@localhost ~]# echo "SU_WHEEL_ONLY yes" >> /etc/login.defs

wheelグループにHadoopのユーザーを追加します。

[root@localhost ~]# gpasswd -a hadoop wheel
[root@localhost ~]# cat /etc/group | grep wheel     查看hadoop有没有加入到wheel组

閲覧ユーザグループ設定

6.仮想マシンのhostsファイルを設定します

[root@localhost ~]# vim /etc/hosts
192.168.10.3 nn1.hadoop   #这个是本机ip,主机名稍后一起配置
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

7.仮想マシン機能クローン4クローンの仮想マシンの追加

完了すると_ ごとに変更しました _ホスト名を、静的IPを設定し、上記の要件の範囲内と一致しており、hostsファイルに対応

[root@localhost ~]# hostnamectl set-hostname nn1.hadoop
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"      #这里修改为static
IPADDR="192.168.10.3"   #这里添加为你的每台虚拟机对应的ip
NETMASK="255.255.255.0" #添加
GATEWAY="192.168.10.2"  #添加为你虚拟机内的网关
DNS="192.168.10.2"      #添加
NM_CONTROLLED="no"      #添加,必然改完文件自动生效,可能直接网络就挂掉了
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="49f05112-b80b-45c2-a3ec-d64c76ed2d9b"
DEVICE="ens33"
ONBOOT="yes"
[root@localhost ~]# systemctl stop NetworkManager.service   停止网络管理服务
[root@localhost ~]# systemctl disable NetworkManager.service 开机禁止自启动
[root@localhost ~]# systemctl restart network.service  重启网络服务

この時点で、我々は、以下の対応の良いIPとホスト名に応じて5台の仮想マシンが設定されている必要があります、5は、hostsファイルを設定しています

192.168.10.3 nn1.hadoop 
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

その後、ファイアウォール、SELinuxが閉鎖されている、jdk8正しくインストールおよび構成されている環境変数が適切に構築されているのHadoopユーザーグループとwheelグループにそれらを追加します。

8. 5台のマシンは無料密各ログのsshを配置し

事業のトップがrootユーザーの下で行われ、ユーザが今のHadoopに切り替えた後、事実上すべての操作が行なわ。

[root@nn1 ~]# su - hadoop     注意这里的“-”,意味着用户和环境变量同时切换
[hadoop@nn1 ~]$    这时候代表进入到了hadoop用户,还有#和$分别代表root用户和普通用户的身份区别

彼は自由にssh秘密を構築するために始めました

アイデアは、最初に個別に各マシン上で、独自のキーを作成し、最終的には〜/ .ssh / authorized_keysファイルにこれらのkey.pubを要約して、相互のない秘密を達成するために5台のマシン上で、一緒にすべてのマシンにこの時間を分散することですSSHアクセス。

[hadoop@nn1 ~]$ pwd 查看当前路径,确保在hadoop用户的home下
/home/hadoop 
[hadoop@nn1 ~]$ mkdir .ssh
[hadoop@nn1 ~]$ chmod 700 ./.ssh
[hadoop@nn1 ~]$ ll -a
drwx------  2 hadoop hadoop 132 7月  16 22:13 .ssh
[hadoop@nn1 ~]$ ssh-keygen -t rsa   创建key文件

この時点では、セットアップNN1機械(マシン、当社の将来の主な動作としてNN1)を完了しました。残りの4台のマシン上の手順に従って、再度実行され、その後、他のマシンのそれぞれは、(複製及び交換を回避する以外)4名前の変更を./ssh/id_rsa.pub、次いでNN1 ./ssh/に送信します下

[hadoop@nn2 ~]$ scp ~/.ssh/id_rsa.pub [email protected] ~/.ssh/id_rsa.pubnn2

この時間は、の〜/ .ssh /そこの下のNN1は、自身が5つのパブファイル(ない同じ名前)を含むべきであるし、それらのすべてを置く_ 追加 _ファイルの下へ

[hadoop@nn1 ~]$ touch authorized_keys
[hadoop@nn1 ~]$ chmod 600 authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pub >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubnn2 >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubs1 >> authorized_keys
…………

そして最後に、このバッチファイルを置くが、残り4台のマシンに送信されます(バッチスクリプトを作成し、それを送信するためにscpコマンドを使用することを忘れてしまいました)

これまで5マシン構成のssh-無料アクセスの相互タイトエンド、我々は(わずかに)個別にテストすることができます。

9.バッチスクリプト

5台のマシンああがあるので、多くの操作が一緒に移動する必要があり、バッチスクリプトを実行する必要があります。

#文件名:ips
"nn1.hadoop" "nn2.hadoop" "s1.hadoop" "s2.hadoop" "s3.hadoop"
#!/bin/bash
#文件名:ssh_all.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@$i \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#!/bin/bash
#文件名:ssh_root.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@i ~/exe.sh \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#文件名exe.sh
cmd=$*

su - <<EOF
$cmd

EOF
#!/bin/bash
RUN_HOME=$(cd "(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${UN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="scp $1 $SSH_USER@i:$2"
    echo $f_cmd
    if eval $f_cmd; then
        echo "ok"
    else
        echo "FAIL"
    fi
done

完成準備作業、次のインストール設定のZooKeeperを開始します

おすすめ

転載: www.cnblogs.com/finch-xu/p/11239056.html