溶液が突然データを受信するデータ量が多くなった場合、そのようなデータが時間内に処理することができない、不安定から安定状態にspark.streamingの安定性を確保
道を開きます。
真= spark.streaming.backpressure.enabled
弾性スケーリング(動的リソース割り当て)
このダイナミックなアプリケーションのニーズのスパークバッチ・アプリケーションを決めたどのように多くのエグゼキューター
Executorの自由な時間、このエグゼキュータのkillは、リソースのクラスタのあまりの廃棄物を無駄にしない1、
2、タスクあまりにも頻繁に、ダイナミックなスタートエグゼキュータ(資源の有効活用)
Spark2.0からこの機能を起動する 設定を開くには:spark.streaming.dynamicAllocation.enabled =真