要約糸に遭遇した問題について長時間実行FLINKクラスタを起動します

セッション・クラスタモードは、クラスタを起動し、宿題を言及し、その後、糸にスペースを適用する必要性の後、リソースは常に同じまま。リソースがいっぱいになっている場合は、次のジョブは、ジョブがリソースの解放が完了した後に実行されている糸までだけ待つように、提出することができない、次のジョブが適切に提出されます。すべてのジョブは、ディスパッチャとのResourceManagerを共有し、共有リソース、小規模な短い実行時間の仕事に適しています。

Hadoopの糸は、最初に起動して、これはヨーヨーを言っているのではありません...

xxxx/app/hadoop-2.6.0-cdh5.15.1/sbin/start-all.sh  全部启动hdfs和yarn
jps可以查看的

ここに画像を挿入説明
そして、ルートディレクトリの実行に行くFLINK

./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m

それは、平均パラメータの誰もが、あなたが、私は言わないだろうということは何を見ん
割り当てる(=のナンバータスクマネージャー)に、糸ナンバーコンテナの-containerを-n
オプションのメモリユニット(デフォルト:MB)とJobManagerコンテナの-jobManagerMemory、JM
- TM、とタスクマネージャコンテナあたり-taskManagerMemoryメモリオプションユニット(デフォルト:MB)

質問は、あなたが問題を持っているか、次のとおりです。

ClassNotFoundException: org.apache.hadoop.yarn.exceptions.

私のソリューションは、以下の2つのjarパッケージを見つけることです、次のように置くFLINKのlib:

flink-shaded-hadoop-2-2.6.0-cdh5.15.1-7.0.jar
flink-shaded-hadoop-2-uber-2.6.0-cdh5.15.1-7.0.jar

再実行します:./ binに/ yarn-session.sh -n 1 -jm 1024メートル-tm 4096メートル
残念ながら別の問題があります:

org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder

ここに画像を挿入説明
そのため今回は、その後のjarパッケージを探してください:

commons-cli-1.4.jar

最後に、./bin/yarn-session.sh -n 1 -jm 1024メートル-tm 4096メートルも問題ありません、幸せの実現!
ここに画像を挿入説明
JARパッケージあなたは私に言わせればどこ私はソースコードをコンパイルMavenのため、それを見つけるに行くためには、私は、ウェアハウス・サーバーの内部の真ん中にいるよ、FLINKの良い時間をダウンロードされています。私FLINKは1.9.0バージョンである私のようなあなたがメッセージを残すことができれば、Hadoopのは2-2.6.0-cdh5.15.1版、バージョンですが、私はあなたを送りました!見ていただきありがとうございます!

公開された45元の記事 ウォンの賞賛6 ビュー2052

おすすめ

転載: blog.csdn.net/qq_22583191/article/details/104175932