まず、事業構造
第二に、全体のビッグデータ・リンク・アーキテクチャ
第三に、主流のフレームワーク
大きなデータフレームの3.1第一世代：競合
3.2計算の第二世代の大型データフレーム
3.3計算第三世代の高いデータフレームFLINK
クラスタ開始
フォーマットするクラスタ
起動するにはのHadoop クラスタを、あなたが起動する必要がHDFS とYARN 二つのクラスタを。
注：あなたが最初に起動したとき HDFSを、あなたはそれが動作するようにフォーマットする必要があります。本質上、クリーンアップと準備作業の一部があるため、この時点で、あるHDFS 物理的または非存在。フォーマット最初の起動する必要がありますが不要になった後にのみ作動
実行node01 再度
bin/hdfs namenode -format或者bin/hadoop namenode –format
1つのノードによって開始された1
マスターノード上で次のコマンドを使用して起動するには、名前ノードをHDFS ：
hadoop-daemon.sh開始名前ノード
各ノードで開始してから次のコマンドを使用して HDFSデータノード。
hadoop-daemon.shスタートデータノード
マスターノード上で次のコマンドを使用して、スタート YARNのResourceManager ：
yarn-daemon.shのResourceManagerを開始
在每个从节点上使用以下命令启动 YARN nodemanager：
yarn-daemon.sh start nodemanager
0以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。
脚本一键启动
如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
启动集群
node01节点上执行以下命令
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/
sbin/start-dfs.sh
sbin/start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
停止集群：
sbin/stop-dfs.sh
sbin/stop-yarn.sh
浏览器查看启动页面
hdfs集群访问地址
http://192.168.52.100:50070/dfshealth.html#tab-overview
yarn集群访问地址
http://192.168.52.100:8088/cluster
jobhistory访问地址：
http://192.168.52.100:19888/jobhistory
我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程
所有机器查看进程脚本
在node01服务器的/home/hadoop/bin目录下创建文件xcall
[hadoop@node01 bin]$ cd ~/bin/
[hadoop@node01 bin]$ vim xcall
#添加以下内容
#!/bin/bash
params=$@
i=201
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
echo ============= node0$i $params =============
ssh node0$i "source /etc/profile;$params"
done
然后一键查看进程并分发该脚本
chmod 777 /home/hadoop/bin/xcall
xcall jps
xsync /home/hadoop/bin/xcall
一键启动hadoop集群的脚本
我们也可以创建一键启动hadoop的脚本，以后启动hadoop都可以通过一个脚本即可
在node01服务器的/home/hadoop/bin目录下创建脚本
[hadoop@node01 bin]$ cd /home/hadoop/bin/
[hadoop@node01 bin]$ vim hadoop.sh
#!/bin/bash
case $1 in
"start" ){
source /etc/profile;
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/start-dfs.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/start-yarn.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/mr-jobhistory-daemon.sh start historyserver
};;
"stop"){
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/stop-dfs.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/stop-yarn.sh
/kkb/install/hadoop-2.6.0-cdh5.14.2/sbin/mr-jobhistory-daemon.sh stop historyserver
};;
esac
修改脚本权限
[hadoop@node01 bin]$ chmod 777 hadoop.sh