不正確なコア数は確率的な問題です。これに遭遇した場合、あなたは少しヨーロッパ人ではないとしか言えません。これは本質的にクラスター構成の問題が原因です。デフォルトでは、yarnはコア数を正確に制御しません。この方法は、実際のメモリを使用してコア数を推定することです。これにより、タスクを構成した場合、実際のメモリが多くを占める場合、ヤーンリソース計算の結果は次のようになります。実際のものとは異なり、リソースの使用にさまざまな問題が発生します。
使用するコアの数をyarnで正確に計算する場合は、すべてのノードでcapacity-scheduler.xml構成ファイルを変更する必要があります。
原配置文件中的
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator
要修改为
yarn.scheduler.capacity.resource-calculator
org.apache.hadoop.yarn.util.resource.DominantResourceCalculator
このようにもう一度見てみると、芯の数が正しいことがわかります。実際、このような糸の理由は、考えてみるとわかりやすいです。芯の数は決まっていますが、メモリは基本的に、上記の要求されたリソースの最小数と規則性によるものです。因数分解係数のため、メモリは実際にはいっぱいではありません。すべてのヤーンは常にメモリの理論的使用に注意を払うため、プログラマに参照メモリ番号を提供するためのコアとコンティニュアの数。そうしないと、メモリが不足します。OOM！！！
でも、あまり心配する必要はありません。糸資源計算の問題はこれだけです。設定して使用するツールに問題がなければ、他に奇妙な問題はありません。私はこれまで研究開発を行ってきました。 、そして私が遭遇した唯一の問題は、構成とコアの数が正しくないためです。メモリとコンティナーに不可解なエラーが発生していない場合、今回のコアの数も以前の研究開発で発見したためです。コアの数が正しくない場合、3つの主要なリソースは、メモリ、コアの数、および継続です。数が正しくありません。