簡単FLINKを学ぶクラスタを構築するために10分


つまり、スタンドアロンモード(独立したトランキングモード)モード、HA(高可用性クラスタモード):2つの方法でFLINKクラスタ構造。
ここでは、(FLINK-1.6.0-binの-hadoop26-のために、ここで学習者にクラスタ構造の2種類を付属 scala_2.11.tgzの例えば、バージョン)。
環境準備ができて
3台の仮想マシン、各ノードのホスト名は無料、秘密ログイン間で仮想マシンを構成node01、node02で、node03の、ある
各仮想マシンにインストールjdk1.8と、上記
各仮想マシンとのZooKeeperクラスタHadoopクラスタをインストール

8020用に構成されたHadoopクラスタのアクセスポート


各仮想マシン上で次のディレクトリを作成します。

ます。mkdir -pは/ opt /ソフト
ます。mkdir -pは/ opt /サーバ
ます。mkdir -pは/ opt /データ
ます。mkdir -pは/ opt /ログ


FLINKインストールパッケージ:FLINK-1.6.0-binの-hadoop26-scala_2.11.tgz

ダウンロードパスます。https://flink.apache.org/downloads.html


スタンドアロンクラスタのセットアップ
1.インストールパッケージ(FLINK-1.6.0-binの-hadoop26アップロード -scala_2.11.tgz)をディレクトリノードにnode01は/ opt /ソフト
2.ディレクトリは/ opt /サーバーへのインストールパッケージを抽出

CDは/ opt /ソフトウェア
タール-zxvf FLINK-1.6.0-binの-hadoop26-scala_2.11.tgz -Cは/ opt /サーバ/


3.プロファイルのconf / FLINK-conf.yamlを変更

位のポート番号マスター設定
jobmanager.rpc.portた:6123
位jobManager JVMヒープメモリサイズの設定
1024M:jobmanager.heap.size
#構成タスクマネージャJVMヒープメモリサイズ
taskmanager.heap.size:1024Mの
#を設定し、各タスクマネージャのタスクスロット(スロット)番号
taskmanager.numberOfTaskSlots :. 3
#事前に割り当てられた起動のためのメモリ構成
taskmanager.memory.preallocate:falseに
それぞれのデフォルトの並列度を設定する#演算子
:. 1つのparallelism.defaultを
#設定インターフェースウェブは、ポート番号の開始UI
rest.portを:8081
各の#のタスクマネージャの構成は、一時フォルダに生成
taskmanager.tmp.dirsをします。/ opt /データ/ FLINK


4.のconfディレクトリFLINK /マスターで設定ファイルを変更します

マスターのviの
デフォルトの設定が存在する場合#は、デフォルト設定の削除
追加する#の設定を
8081:node01を


5.設定ファイルのディレクトリを変更するのconf /スレーブをFLINK

奴隷のvi
#は、デフォルトの設定がある場合は、デフォルトの設定の削除
追加する#の設定を
node01
とnode02
node03の


6.インストールパッケージを送信

cd /opt/servers
scp ‐r flink‐1.6.0/ node02:$PWD
scp ‐r flink‐1.6.0/ node03:$PWD


7. 启动和关闭

# 启动集群
bin/start‐cluster.sh
# 关闭集群
bin/stop‐cluster.sh


8. 查看前端页面

http://node01:8081
# 注意:windows上的host文件要配置对应的node01域名映射


HA集群搭建
1. 停止Flink集群

bin/stop‐cluster.sh


2. 在Standalone基础上,修改node01配置文件  conf/flink-conf.yaml

# 在文件末尾追加下列配置
#开启HA
# checkpoint state文件保存模式
state.backend: filesystem
# checkpoint state文件保存路径
state.backend.fs.checkpointdir: hdfs://node01:8020/flink‐checkpoints
# 将高可用模式设置为zookeeper,依赖zookeeper实现高可用
high‐availability: zookeeper
# 设置HA元数据保存路径
high‐availability.storageDir: hdfs://node01:8020/flink/ha/
# 配置zookeeper集群地址
high‐availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181
# zookeeper是否进行安全校验,防止丢失数据
high‐availability.zookeeper.client.acl: open


3. 发送文件 flink-conf.yaml

scp flink‐conf.yaml node02:$PWD
scp flink‐conf.yaml node03:$PWD


4. 修改 node02 的配置文件 flink-conf.yaml

# 修改配置
jobmanager.rpc.address: node02



5. 修改 node01的 conf/masters

node01:8081
node02:8081


6. 发送master

scp master node02:$PWD
scp master node03:$PWD


7. 启动集群

# 1. 启动zookeeper集群
# 2. 启动hadoop集群
# 3. 启动Flink集群
bin/start‐cluster.sh


8. 查看前端页面

http://node01:8081/


小结
每一个大数据技术组件的学习,第一步面临的可能都是集群环境的搭建,但是这些这些搭建步骤基本都是定式化的
操作,只要搭建过一次,之后遇到其他情况的搭建基本上是大同小异。本篇内容详细介绍了Flink的两种集群搭建方
式,希望帮助小伙们轻松入门Flink第一课。


文章来源于公总号黑马程序员广州中心(itheimagz)更多资源请关注

image.png





おすすめ

転載: blog.51cto.com/14500648/2430134