Spark版本定制第10天:流数据生命周期和思考

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark版本定制第10天:流数据生命周期和思考相关的知识,希望对你有一定的参考价值。

本期内容:

1 数据流生命周期

2 深度思考

  一切不能进行实时流处理的数据都是无效的数据。在流处理时代,SparkStreaming有着强大吸引力,而且发展前景广阔,加之Spark的生态系统,Streaming可以方便调用其他的诸如SQL,MLlib等强大框架,它必将一统天下。

  Spark Streaming运行时与其说是Spark Core上的一个流式处理框架,不如说是Spark Core上的一个最复杂的应用程序。如果可以掌握Spark streaming这个复杂的应用程序,那么其他的再复杂的应用程序都不在话下了。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。

 

以上是关于Spark版本定制第10天:流数据生命周期和思考的主要内容,如果未能解决你的问题,请参考以下文章

Spark版本定制第8天:RDD生成生命周期彻底

(版本定制)第10课:Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考

Spark版本定制第6天:Job动态生成和深度思考

Spark版本定制第7天:JobScheduler内幕实现和深度思考

Spark版本定制八:Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考

Spark 定制版:008~Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考