Spark版本定制第10天:流数据生命周期和思考
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark版本定制第10天:流数据生命周期和思考相关的知识,希望对你有一定的参考价值。
本期内容:
1 数据流生命周期
2 深度思考
一切不能进行实时流处理的数据都是无效的数据。在流处理时代,SparkStreaming有着强大吸引力,而且发展前景广阔,加之Spark的生态系统,Streaming可以方便调用其他的诸如SQL,MLlib等强大框架,它必将一统天下。
Spark Streaming运行时与其说是Spark Core上的一个流式处理框架,不如说是Spark Core上的一个最复杂的应用程序。如果可以掌握Spark streaming这个复杂的应用程序,那么其他的再复杂的应用程序都不在话下了。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。
以上是关于Spark版本定制第10天:流数据生命周期和思考的主要内容,如果未能解决你的问题,请参考以下文章
(版本定制)第10课:Spark Streaming源码解读之流数据不断接收全生命周期彻底研究和思考
Spark版本定制第7天:JobScheduler内幕实现和深度思考