hadoopビルドクラスター

開発 2020-04-17 17:26:39 訪問数: null 
                                                    **hadoop搭建集群**

1.ファイアウォールをオフにします
1）ファイアウォールのステータスを確認します
firewall-cmd --state
2）ファイアウォールを
停止しますsystemctl stop firewalld.service
3）ファイアウォールの起動を
無効にしますsystemctl disable firewalld.service
2.時間同期
コマンドライン入力：yum install ntp ntpプラグインをダウンロードします。
ダウンロードが完了したら、コマンドラインにntpdate -u ntp1.aliyun.com
と入力し、次にコマンドラインに入力します。date
次の条件が表示されれば、構成は成功し
hadoopビルドクラスター
ています
。3 .サーバーを構成します（ここでは例として4とします）。1つのマスターノード：doop1（ 192.168.0.103）、2（スレーブ）子ノード、doop2（192.168.0.104）、doop3（192.168.0.105）、doop4（192.168.0.106）
2.
コマンドラインでマスターノード名（192.168.0.103）を構成し、viと入力します。 / etc / sysconfig / network
add content：NETWORKING
= yes
HOSTNAME = doop1
configure 3つの子ノード名（192.168.0.104）、（192.168.0.105）、（192.168.0.106）：
vi / etc / sysconfig / network
add content：
NETWORKING =はい
HOSTNAME = doop2
vi / etc / sysconfig / network
add content：NETWORKING
= yes
HOSTNAME = doop3
vi / etc / sysconfig / network
add content：NETWORKING
= yes
HOSTNAME = doop4
4.
マスターノードのホストファイルを開くようにホストを構成します2行をコメント化し（現在のホストの情報をコメント化）、hadoopクラスターのすべてのホスト情報をファイルに追加します。
コマンドラインに次のように入力します。vi / etc / hosts
は、3つのサーバーのノード名情報を追加します
192.168.0.103 doop1
192.168.0.104 doop2
192.168.0.105 doop3
192.168.0.106 doop4
save、マスターノードのホストを他の2つのサブノード
コマンドにコピーします次の行を入力します：
scp / etc / hosts [email protected]：/ etc /
scp / etc / hosts [email protected]：/ etc /
scp / etc / hosts [email protected]：/ etc /
次に、（ （次のステートメントを実行せずにサーバーを再起動します）：/ bin / hostname hostsname
5、sshのパスワードなしのアクセスを設定して
、公開鍵と鍵のペアを生成します
各ノードで個別に実行します。
コマンドライン入力：ssh-keygen -t rsa
、生成が完了するまでEnterキーを押します。
実行が完了すると、2つのファイルid_rsaおよびid_rsaが各ノードの/root/.ssh/ディレクトリに生成されます。 pub
前者は秘密鍵、後者は
マスターノードで実行される公開鍵です：
scp /root/.ssh/id_rsa.pub root @ doop2：/root/.ssh/
scp /root/.ssh/id_rsa.pub root @ doop3：/root/.ssh/
scp /root/.ssh/id_rsa.pub root @ doop4：/root/.ssh/xshell
ウィンドウのすべてのセッションで次のコマンドを入力します：
hadoopビルドクラスター
cd /root/.ssh/
cp id_rsa.pub authorized_keys
最後に、テストに設定が正常か否かを
それぞれ実行にdoop1
SSH doop2
SSH doop3
パスワードなしで正常にログインすることができ、マスタノードと各子ノードに同じ方法で他の子ノードにログインできるユーザインタフェースの2つのつの子ノードに右ジャンプすることができ構成が成功したことを意味します。
6. jdkをインストールします（4つのマシンすべてをインストールする必要があります）
同じ場所にインストールします/usl/local/jdk1.8.0_191
JDKをダウンロードします：https : //www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads- 2133151.html
JDKを解凍します。tar -zxvf /usr/local/jdk-8u73-linux-x64.gz
環境変数を構成し、プロファイルファイルを編集します
。vi / etc / profile
プロファイルファイルの最後に次のコードを追加します
。export JAVA_HOME = / usr / local / jdk1 .8.0_191
export PATH = $ JAVA_HOME / bin：$ PATH
export CLASSPATH = $ JAVA_HOME / lib：$ JAVA_HOME / jre / lib
：編集したファイルを保存します：source / etc / profileで
インストールが成功したかどうかをテストします：java -version
7. hadoopをインストールします。
インストール場所はカスタマイズされています。たとえば、/ usr / localディレクトリの下にインストールして
、hadoopパッケージをダウンロードします：
https ://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop- 2.7.7.ta​​r.gzが
/ usr / localディレクトリに配置され、hadoop
tar -zxvf hadoop-2.7.7.ta​​r.gz
を抽出して、usrの下にhadoop-2.7.7ディレクトリを生成します。
環境変数を設定します
。vi/ etc / profile
in最後に追加：
export HADOOP_HOME = / usr / local / hadoop-2.7.7
export PATH = $ PATH：$ HADOOP_HOME / bin：$ HADOOP_HOME / sbin
有効にするには、新しく編集したプロファイルを保存します：
source / etc / profile
8.構成するhadoop
構成hadoop構成
ファイル構成するファイルの場所は/ usr / local / hadoop -2.7.7 / etc / hadoop、次のファイルを変更する必要があります：
hadoop-env.sh
糸-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
糸-site.xml
スレーブ
マスター
hadoop-env.shとyarn-env.shの両方で、jdk環境変数
hadoop-env.shを
追加し、次のコードを追加します。export
JAVA_HOME = / usr / local / jdk1.8.0_191を次の場所に追加します：
hadoopビルドクラスター
yarn-env。 shに
次のコードを追加します
。export JAVA_HOME = / usr / local / jdk1.8.0_191を次の場所に追加します。core
hadoopビルドクラスター
-site.xmlに
次のコードを追加します。
<configuration>
<！-Data transmission port- >
<property>
<name> fs.defaultFS </ name>
<value> hdfs：// doop1：9000 </ value>
</ property>
<property>
<name> io.file.buffer.size </ name>
<value> 131072 < / value>
</ property>
<！-hadoop临時間目录、fsimage临時文件にもこのような問題が発生する可能
性があります-> <プロパティ>
<name> hadoop.tmp.dir </ name>
<値>ファイル： / usr / temp </ value>
</ property>
<property>
<name> hadoop.proxyuser.root.hosts </ name>
<value> </ value>
</ property>
<property>
<name> hadoop.proxyuser。 root.groups </ name>
<value> </ value>
</ property>
</ configuration>
注：上記のコードのファイルの後のパスの下にある一時フォルダーは、自分で作成する必要があります
。
次のコードをhdfs-site.xmlに追加します：
<configuration>
<！-secondary namenode配置->
<property>
<name> dfs.namenode.secondary.http-address </ name>
<value> doop4：50090 </ value>
</ property>
<property>
<name> dfs .namenode.secondary.https-address </ name>
<value> doop4：50091 </ value>
</ property>
<property>
<name> dfs.namenode.name.dir </ name>
<value> file：/ usr / dfs / name </ value>
</ property>
<property>
<name> dfs.datanode.data.dir </ name>
<value> file：/ usr / dfs / data </ value>
</ property>
<property >
<name> dfs.replication </ name>
<value> 2 </ value>
</ property>
<property>
<name> dfs.webhdfs.enabled </ name>
<value> true </ value>
</ property>
<property>
<name> dfs.permissions </ name>
<value> false </ value>
</ property>
<property>
<name> dfs.web.ugi </ name>
<value>スーパーグループ</ value>
</プロパティ>
</ configuration>の
設定スレーブデータノードのホスト名で
のように変更されます。
doop2
doop3
doop4
マスターSecondaryNameNodeのホスト名が配置された
修正：
doop4は
mapred site.xmlの-中
（ノートmapred-site.xml.templateに名前変更の.xmlファイルmv mapred-site.xml.template mapred-site.xml）
に次のコードを追加します。
<configuration>
<property>
<name> mapreduce.framework.name </ name>
<value>糸</ value>
</ property>
<プロパティ>
<name> mapreduce.jobhistory.address </ name>
<value> doop1：10020 </ value>
</ property>
<property>
<name> mapreduce.jobhistory.webapp.address </ name>
<value> doop1：19888 </ value>
</ property>
</ configuration>
糸-site.xml中
追加如下代码：
<configuration>
<property>
<name> yarn.nodemanager.aux-services </ name>
<value> mapreduce_shuffle </ value>
</ property>
<property>
<name> yarn.nodemanager .aux-services.mapreduce.shuffle.class </ name>
<value> org.apache.hadoop.mapred.ShuffleHandler </ value>
</ property>
<property>
<name> yarn.resourcemanager.address </ name>
<value> doop1：8032 </ value>
</ property>
<property>
<name> yarn.resourcemanager.scheduler.address </ name>
<value> doop1：8030 </ value>
</ property>
<property>
<name> yarn.resourcemanager.resource-tracker.address </ name>
<value> doop1：8031 </ value>
</ property>
<property>
<name> yarn.resourcemanager.admin.address </ name>
<value> doop1：8033 </ value>
</ property>
<property>
<name> yarn。 resourcemanager.webapp.address </ name>
<value> doop1：8088 </ value>
</ property>
</ configuration>
コピー贝hadoop安装文件到子节点
主节点上执行：
rm -rf /usr/local/hadoop-2.7 .7 / share / doc /
scp -r /usr/local/hadoop-2.7。7 root @ doop2：/ usr / local /
scp -r /usr/local/hadoop-2.7.7 root @ doop3：/ usr / local /
scp -r /usr/local/hadoop-2.7.7 root @ doop4：/ usr / local /
プロファイルを子ノードの
マスターノードにコピーして実行：
scp / etc / profile root @ doop2：/ etc /
scp / etc / profile root @ doop3：/ etc /
scp / etc /プロファイルルート@ doop4：/ etc /
3つの子ノードで新しいプロファイルを検証：
source / etc / profile

最後にHadoop環境変数vi〜
/ .bash_profileを構成
し、以下を追加し
ます。export HADOOP_HOME = / usr / local / hadoop-2.7.7
export PATH = $ PATH：$ HADOOP_HOME / bin：$ HADOOP_HOME / sbin

scp〜/ .bash_profile root @ doop2：/ root /
scp〜
/ .bash_profile root @ doop3：/ root /
scp〜/ .bash_profile root @ doop4：/ root / 加载配置
ソース〜/ .bash_profile

masternodeのnamenodeをフォーマットし、masternodeの
hadoopディレクトリに入り、次のコマンドを実行します
。hdfs namenode -format
ヒント：正常にフォーマットされたことは、フォーマットが成功したことを示します

Hadoop
マスターノードを起動し、Hadoopディレクトリで実行します
。start-all.sh
stop Hadoop
stop-all.sh

プライマリノードJPSプロセスに次のように
名前ノード
のResourceManager
各子にJPSプロセスを次のように
データノード
ノードマネージャは、
複数のプロセスであるdoop
SecondaryNameNode
これは正常Hadoopクラスタ構成を表す場合

アクセスアドレスhttp://192.168.0.103:50070/
ホスト名でアクセスする場合は、Windowsホストファイルを設定
してページを確認する必要があります
hadoopビルドクラスター

おすすめ

転載: blog.51cto.com/13001751/2487972
おすすめ
ランキング
Tongyi Lingma Enterprise Edition は、プライベート ドメインの知識の検索、データ コンプライアンス、統合管理などの企業のニーズを満たすために正式にリリースされました。
Свойство «значение» не существует для типа «EventTarget» в vue3 (ts)
Фильтрация и картографирование потокового потока
アヒルを数える Python コード
python read csvcsvファイルの一部を新しいファイルに読み取ります
[スウィフト] LeetCode1281整数あなたの製品との違い|。整数の桁のプロダクトと和を減算
Huawei OD コンピュータベースの試験アルゴリズムの問題: ブロックチェーン ファイル ダンプ システム
BigDecimalの使い方
Python実装ハングマンゲーム
タイタニック（タイタニック生存予測）に生存
アーカイブ
もっと
2024-05-28(0)
2024-05-27(1)
2024-05-26(0)
2024-05-25(1)
2024-05-24(11)
2024-05-23(35)
2024-05-22(9)
2024-05-21(36)
2024-05-20(5)
2024-05-19(0)

コードワールド

© 2018 codetd.com