ビッグデータクラスターの構築-「高可用性Hadoopチャプター」-RookieXiaohui
要約記事:
ビッグデータクラスターの構築(zookeeper、高可用性hadoop、高可用性hbase)
続きの記事:ビッグデータクラスターの構築-「zookeeper
」
3つ目は、hadoopクラスターの構築です(最初にzhiyou001を他の人にコピーし、構成する前にzookeeperの構成が完了していることを確認してください)
- 作成:
mkdir /opt/hadoop
- 入る:
cd /opt/hadoop
- アップロード:
- 解凍:
tar -zxvf tar -zxvf hadoop-2.7.3
- hadoop環境変数を構成する
vi /etc/profile
//添加
#配置hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
- 構成ファイルを更新してテストします
source /etc/profile
hadoop
- core-site.xmlを変更します
cd /opt/hadoop/hadoop-2.7.3/etc/hadoop/
vi core-site.xml
//在<configuration>中添加如下内容
<!-- 指定hdfs的nameservice为ns -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定hadoop数据存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/zhiyou/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>zhiyou001:2181,zhiyou002:2181,zhiyou003:2181</value>
</property>
<property>
<name>ipc.client.connect.max.retries</name>
<value>100</value>
<description>Indicates the number of retries a client will make to establish
a server connection.
</description>
</property>
<property>
<name>ipc.client.connect.retry.interval</name>
<value>10000</value>
<description>Indicates the number of milliseconds a client will wait for
before retrying to establish a server connection.
</description>
</property>
- hdfs-site.xml
vi hdfs-site.xml
//同样在<configuration>中添加如下内容
<!--指定hdfs的nameservice为ns,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>zhiyou001:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>zhiyou001:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>zhiyou002:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>zhiyou002:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://zhiyou001:8485;zhiyou002:8485;zhiyou003:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/zhiyou/hadoop/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///zhiyou/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///zhiyou/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
- mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
//添加configuration
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 糸-site.xml
vi yarn-site.xml
//添加configuration
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zhiyou003</value>
</property>
- hadoop-env.sh
//找到文件的export JAVA_HOME=${JAVA_HOME} 一行修改
export JAVA_HOME=/opt/java/jdk1.8.0_141
- 奴隷
//修改localhost为
zhiyou001
zhiyou002
zhiyou003
- コンテンツをzhiyou002、zhiyou003にコピーします
//1. hadoop
scp -r /opt/hadoop/ root@zhiyou002:/opt/hadoop/
scp -r /opt/hadoop/ root@zhiyou003:/opt/hadoop/
//2. /etc/profile
scp -r /etc/profile root@zhiyou002:/etc/profile
scp -r /etc/profile root@zhiyou003:/etc/profile
- スリースタートズーキーパー
cd /opt/zookeeper/zookeeper-3.4.12/bin/
./zkServer.sh start
- 3つの開始ジャーナルノードクラスター
cd /opt/hadoop/hadoop-2.7.3/sbin/
./hadoop-daemon.sh start journalnode
- zhiyou001でzkfcをフォーマットします。
hdfs zkfc -formatZK
- zhiyou001でhdfsをフォーマットします。
hadoop namenode -format
- zhiyou001でnamenodeを開始します。
./hadoop-daemon.sh start namenode
- zhiyou002でデータ同期とスタンバイnamenodeを開始します
hdfs namenode -bootstrapStandby
./hadoop-daemon.sh start namenode
- zhiyou01でデータノードを開始します。
./hadoop-daemons.sh start datanode
- zhiyou03で糸を開始します。
./start-yarn.sh
- zhiyou01でzkfcを起動します。
./hadoop-daemons.sh start zkfc
- すべてのプロセスの起動ステータスを表示する
zhiyou001(7)
zhiyou002(7個)
zhiyou003(6個)
- この時点で、ブラウザはhadoopにアクセスできます(このマシンにはC:\ Windows \ System32 \ drivers \ etc \ hostsが装備されている必要があり、仮想マシンは同じです)
192.168.80.128 zhiyou001
192.168.80.129 zhiyou002
192.168.80.130 zhiyou003
访问:
zhiyou001:50070
zhiyou002:50070
- 高可用性テスト:
//zhiyou001和zhiyou002都先安装fuser
yum -y install psmisc
//关闭hadoop
cd /opt/hadoop/hadoop-2.7.3/sbin/
./stop-all.sh
//重新开启
./start-all.sh
- ブラウザテスト
a。ステータスを確認します
zhiyou001:50070(active)
zhiyou002:50070(standby)
b。アクティブな(zhiyou001)namenodeノードをオフにします
kill -9 “namenode节点”
c。再度アクセスし、ノードが自動的に(アクティブ)にアップグレードされることを確認します
zhiyou002:50070
- ファイルのアップロードテスト
- アップロードされたファイルは、アクティブノードを介してのみアップロードおよび表示できます。アクティブノードがダウンすると、スタンバイノードがアクティブノードにアップグレードされます。元のアップロードファイルを表示することもできます。
考えられる問題:
- ブロガーは、構成プロセス中にデータノードノードを開始できないというエラーを検出し、
最終的にログファイルをチェックして、生成された名前ファイルとデータファイルのIDに一貫性がないことを発見しました。フォーマット中に問題になるはずです。最も単純で失礼な解決策:最後の2つのホストのhadoopファイルと、3つのホストのフォーマットによって生成されたルートディレクトリzhiyouフォルダーを削除します。hadoopフォルダーを最後の2つのホストに再コピーします。問題は解決しました!チュートリアルの構成に従って、Baiduデータノードを開始して名前とデータファイルを生成できない可能性もあります。