背圧&伸縮性のスケーリング

 

 

 

 

 

 

溶液が突然データを受信するデータ量が多くなった場合、そのようなデータが時間内に処理することができない、不安定から安定状態にspark.streamingの安定性を確保
道を開きます。
真= spark.streaming.backpressure.enabled

  

弾性スケーリング(動的リソース割り当て)

このダイナミックなアプリケーションのニーズのスパークバッチ・アプリケーションを決めたどのように多くのエグゼキューター
Executorの自由な時間、このエグゼキュータのkillは、リソースのクラスタのあまりの廃棄物を無駄にしない1、

 

 2、タスクあまりにも頻繁に、ダイナミックなスタートエグゼキュータ(資源の有効活用)

 

 

 

 

Spark2.0からこの機能を起動する
設定を開くには:spark.streaming.dynamicAllocation.enabled =真

  

おすすめ

転載: www.cnblogs.com/tesla-turing/p/11488323.html