大数据IMF传奇行动绝密课程第119课:Spark Streaming性能优化:如何在生产环境下应对流数据峰值巨变

xiaoxiao2021-02-28  105

Spark Streaming性能优化:如何在生产环境下应对流数据峰值巨变

1、数据峰值的巨大影响 2、Spark的Backpressure(反压)内幕

Backpressure根据上一个job的统计信息(如delay等),通过自己的算法,来决定下一个Batch Interval的接收速度 如何限制接收速度 反压机制在哪里会有?Driver jobScheduler启动RateController

转载请注明原文地址: https://www.6miu.com/read-29257.html

最新回复(0)