つまり、スタンドアロンモード(独立したトランキングモード)モード、HA(高可用性クラスタモード):2つの方法でFLINKクラスタ構造。
ここでは、(FLINK-1.6.0-binの-hadoop26-のために、ここで学習者にクラスタ構造の2種類を付属 scala_2.11.tgzの例えば、バージョン)。
環境準備ができて
3台の仮想マシン、各ノードのホスト名は無料、秘密ログイン間で仮想マシンを構成node01、node02で、node03の、ある
各仮想マシンにインストールjdk1.8と、上記
各仮想マシンとのZooKeeperクラスタHadoopクラスタをインストール
8020用に構成されたHadoopクラスタのアクセスポート |
各仮想マシン上で次のディレクトリを作成します。
ます。mkdir -pは/ opt /ソフト ます。mkdir -pは/ opt /サーバ ます。mkdir -pは/ opt /データ ます。mkdir -pは/ opt /ログ |
FLINKインストールパッケージ:FLINK-1.6.0-binの-hadoop26-scala_2.11.tgz
ダウンロードパスます。https://flink.apache.org/downloads.html |
スタンドアロンクラスタのセットアップ
1.インストールパッケージ(FLINK-1.6.0-binの-hadoop26アップロード -scala_2.11.tgz)をディレクトリノードにnode01は/ opt /ソフト
2.ディレクトリは/ opt /サーバーへのインストールパッケージを抽出
CDは/ opt /ソフトウェア タール-zxvf FLINK-1.6.0-binの-hadoop26-scala_2.11.tgz -Cは/ opt /サーバ/ |
3.プロファイルのconf / FLINK-conf.yamlを変更
位のポート番号マスター設定 jobmanager.rpc.portた:6123 位jobManager JVMヒープメモリサイズの設定 1024M:jobmanager.heap.size #構成タスクマネージャJVMヒープメモリサイズ taskmanager.heap.size:1024Mの #を設定し、各タスクマネージャのタスクスロット(スロット)番号 taskmanager.numberOfTaskSlots :. 3 #事前に割り当てられた起動のためのメモリ構成 taskmanager.memory.preallocate:falseに それぞれのデフォルトの並列度を設定する#演算子 :. 1つのparallelism.defaultを #設定インターフェースウェブは、ポート番号の開始UI rest.portを:8081 各の#のタスクマネージャの構成は、一時フォルダに生成 taskmanager.tmp.dirsをします。/ opt /データ/ FLINK |
4.のconfディレクトリFLINK /マスターで設定ファイルを変更します
マスターのviの デフォルトの設定が存在する場合#は、デフォルト設定の削除 追加する#の設定を 8081:node01を |
5.設定ファイルのディレクトリを変更するのconf /スレーブをFLINK
奴隷のvi #は、デフォルトの設定がある場合は、デフォルトの設定の削除 追加する#の設定を node01 とnode02 node03の |
6.インストールパッケージを送信
cd /opt/servers scp ‐r flink‐1.6.0/ node02:$PWD scp ‐r flink‐1.6.0/ node03:$PWD |
7. 启动和关闭
# 启动集群 bin/start‐cluster.sh # 关闭集群 bin/stop‐cluster.sh |
8. 查看前端页面
http://node01:8081 # 注意:windows上的host文件要配置对应的node01域名映射 |
HA集群搭建
1. 停止Flink集群
bin/stop‐cluster.sh |
2. 在Standalone基础上,修改node01配置文件 conf/flink-conf.yaml
# 在文件末尾追加下列配置 #开启HA # checkpoint state文件保存模式 state.backend: filesystem # checkpoint state文件保存路径 state.backend.fs.checkpointdir: hdfs://node01:8020/flink‐checkpoints # 将高可用模式设置为zookeeper,依赖zookeeper实现高可用 high‐availability: zookeeper # 设置HA元数据保存路径 high‐availability.storageDir: hdfs://node01:8020/flink/ha/ # 配置zookeeper集群地址 high‐availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181 # zookeeper是否进行安全校验,防止丢失数据 high‐availability.zookeeper.client.acl: open |
3. 发送文件 flink-conf.yaml
scp flink‐conf.yaml node02:$PWD scp flink‐conf.yaml node03:$PWD |
4. 修改 node02 的配置文件 flink-conf.yaml
# 修改配置 jobmanager.rpc.address: node02 |
5. 修改 node01的 conf/masters
node01:8081 node02:8081 |
6. 发送master
scp master node02:$PWD scp master node03:$PWD |
7. 启动集群
# 1. 启动zookeeper集群 # 2. 启动hadoop集群 # 3. 启动Flink集群 bin/start‐cluster.sh |
8. 查看前端页面
http://node01:8081/ |
小结
每一个大数据技术组件的学习,第一步面临的可能都是集群环境的搭建,但是这些这些搭建步骤基本都是定式化的
操作,只要搭建过一次,之后遇到其他情况的搭建基本上是大同小异。本篇内容详细介绍了Flink的两种集群搭建方
式,希望帮助小伙们轻松入门Flink第一课。
文章来源于公总号黑马程序员广州中心(itheimagz)更多资源请关注