中文在线免费看视频_国产成人精品亚洲日本在线观看_亚洲精品第一综合99久久_国产亚洲精品日韩综合网

Spark Streaming 反壓機制(Back Pressure)

Spark Streaming 反壓機制是1.5版本推出的特性，用來解決處理速度比攝入速度慢的情況，簡單來講就是做流量控制。當(dāng)批處理時間(Batch Processing Time)大于批次間隔(Batch Interval，即 BatchDuration)時,說明處理數(shù)據(jù)的速度小于數(shù)據(jù)攝入的速度，持續(xù)時間過長或源頭數(shù)據(jù)暴增，容易造成數(shù)據(jù)在內(nèi)存中堆積，最終導(dǎo)致Executor OOM。反壓就是來解決這個問題的。

spark streaming的消費數(shù)據(jù)源方式有兩種：

當(dāng)然，在事先經(jīng)過壓測，且流量高峰不會超過預(yù)期的情況下，設(shè)置這些參數(shù)一般沒什么問題。但最大值，不代表是最優(yōu)值，最好還能根據(jù)每個批次處理情況來動態(tài)預(yù)估下個批次最優(yōu)速率。

在Spark 1.5.0以上，就可通過背壓機制來實現(xiàn)。開啟反壓機制，即設(shè)置spark.streaming.backpressure.enabled為true，Spark Streaming會自動根據(jù)處理能力來調(diào)整輸入速率，從而在流量高峰時仍能保證最大的吞吐和性能

Spark Streaming的反壓機制中，有以下幾個重要的組件：

1. 當(dāng)前批次任務(wù)處理完成的時間戳 （processingEndTime）
2. 該批次從第一個 job 到最后一個 job 的實際處理時長 （processingDelay）
3. 該批次的調(diào)度時延，即從被提交到 JobScheduler 到第一個 job 開始處理的時長（schedulingDelay）
4. 該批次輸入數(shù)據(jù)的總條數(shù)（numRecords）

* 反壓機制真正起作用時需要至少處理一個批：由于反壓機制需要根據(jù)當(dāng)前批的速率，預(yù)估新批的速率，所以反壓機制真正起作用前，應(yīng)至少保證處理一個批。

* 如何保證反壓機制真正起作用前應(yīng)用不會崩潰：要保證反壓機制真正起作用前應(yīng)用不會崩潰,需要控制每個批次最大攝入速率。若為Direct Stream，如Kafka Direct Stream,則可以通過spark.streaming.kafka.maxRatePerPartition參數(shù)來控制。此參數(shù)代表了 每秒每個分區(qū)最大攝入的數(shù)據(jù)條數(shù)。假設(shè)BatchDuration為10秒,spark.streaming.kafka.maxRatePerPartition為12條,kafka topic 分區(qū)數(shù)為3個，則一個批(Batch)最大讀取的數(shù)據(jù)條數(shù)為360條(3*12*10=360)。同時，需要注意，該參數(shù)也代表了整個應(yīng)用生命周期中的最大速率，即使是背壓調(diào)整的最大值也不會超過該參數(shù)。

反壓相關(guān)的參數(shù)