1. 糸セッションモード
1.1 最初に糸セッションを開始する
bin/yarn-session.sh \
-s 8 \
-jm 4g \
-tm 16g \
-nm yarn-session-flink \
-d
パラメータの説明
| パラメータ | 意義 |
|---|---|
| -jm1024 | ジョブマネージャーの 1024M メモリを示します |
| -tm1024 | タスクマネージャーのメモリが 1024M であることを示します |
| -s 8 | 各タスクマネージャーには 8 つのスロットがあります |
| -d | タスクはバックグラウンドで実行されます |
| -nm,–名前 | YARNにアプリケーション名を設定する |
| -D<プロパティ=値> | -DParallelism.default=3 に似た動的プロパティ |
| -q,–クエリ | 利用可能な YARN リソース (メモリ、コア) を表示します。 |
| -qu,–尾 | YARNキューを指定する |
| -t、–出荷 | YARNキューを指定する |
| -nl,–nodeLabel | YARN アプリケーションの YARN ノード ラベルを指定する |
| -z,–Zookeeper 名前空間 | 名前空間。高可用性モードで Zookeeper サブパスを作成するために使用されます。 |
| -j、–jar | Flink jar ファイルへのパス |
1.2 作成したyarnセッションにタスクを送信して実行します
flink run -t yarn-session -Dyarn.application.id=application_1650018331890_0001 -c org.apache.flink.examples.java.wordcount.WordCount examples/batch/WordCount.jar
2. ジョブごとの糸数
コマンドを送信する
./flink run \
-m yarn-cluster \
-yjm 1024 \
-ytm 1024 \
-ynm wordcount \
-c org.apache.flink.examples.java.wordcount.WordCount \
-yj examples/batch/WordCount.jar
パラメータの説明
| パラメータ | 意義 |
|---|---|
| -m | 実行モードは糸クラスターです。接続先のジョブ マネージャーのアドレスを指定することもできます。構成で指定された別のジョブ マネージャーに接続するには、このフラグを使用します。注意: このオプションは、高可用性構成が NONE の場合にのみ考慮されます。 |
| -yjm | ジョブマネージャーが配置されているコンテナーメモリを指定します。単位：MB |
| -ytm | 各 TaskManager コンテナのメモリ (MB 単位)。 |
| -ys | 各タスクマネージャーのスロットの数。 |
| -inm | YARN でのアプリケーションの名前。 |
| -c | ジョブに対応するjarパッケージ内のmain関数のクラス名を指定します。 |
| -yj,–yarnjar<引数> | Jar パッケージの場所 |
| -yt,–糸 | 指定したディレクトリ内のファイルを転送します（転送にはtを使用します） |
| -yqu,–yarnqueue<arg> | ヤーンキューの指定 |
| -yD <プロパティ=値> | カスタムパラメータ |
| -yid,–yarnapplicationId <引数> | 実行するyarnidを指定してください |
| -yq,–yarnquery | 利用可能な YARN リソース (メモリ、コア) を表示します。 |
| -d、–切り離された | バックグラウンド実行 |
3. 新バージョンでのコマンドの変更点
./bin/flink run \
# 指定yarn的Per-job模式,-t等价于-Dexecution.target
-t yarn-per-job \
# yarn应用的自定义name
-Dyarn.application.name=wordcount \
# 未指定并行度时的默认并行度值, 该值默认为1
-Dparallelism.default=3 \
# JobManager进程的内存
-Djobmanager.memory.process.size=2048mb \
# TaskManager进程的内存
-Dtaskmanager.memory.process.size=2048mb \
# 每个TaskManager的slot数目, 最佳配比是和vCores保持一致
-Dtaskmanager.numberOfTaskSlots=2 \
# 防止日志中文乱码
-Denv.java.opts="-Dfile.encoding=UTF-8" \
# 支持火焰图, Flink1.13新特性, 默认为false, 开发和测试环境可以开启, 生产环境建议关闭
-Drest.flamegraph.enabled=true \
# 入口类
-c xxxx.MainClass \
# 提交Job的jar包
xxxx.jar