Flink被收购意味着什么

Posted 2021-04-13 飞总聊IT

首先抱歉昨天的发文因为不可抗力删除了。这样的事情以前发生过，以后也会继续发生。大家习惯就好。真想看的私下给我留言。

阿里巴巴收购Flink的母公司Data Artisans的新闻昨天发布了。后台很多留言问我对这个事情怎么看。

这个并不是一件令人吃惊的事情。2018年8月开完VLDB从巴西回来之后，诸多迹象就表明不远的未来阿里巴巴收购Data Artisans会发生了。小范围内（比如我知识星球VIP群里）我提过这个事情可能会很快发生。前几天我在2019年微信第一篇文章里也暗示了一下。

从技术上讲，这几年流处理系统的理论基础和现实框架都逐渐成熟了。这里我推荐有兴趣的人去阅读谷歌流引擎MillWheel团队的人写的书：Streaming Systems。书里对最近几年的流技术，包括开源主流框架Apache Flink和Spark Streaming都有很好的介绍。书里也解释了批处理和流处理等价的理论问题，以及流处理是如何实现类似传统数据库通过日志文件进行故障恢复的故障恢复机制。这些Flink里都有实现。

总而言之，从早年Storm和Lambda架构的不成熟的流系统，到现在异常成熟的Flink倡导的批处理就是流处理，增量处理就是全量处理，流处理技术在这几年内的发展是长足和惊人的。Flink作为其中的佼佼者，影响力是毋庸置疑的。

接下来就是Blink和Flink的合并问题了。面对控股的阿里巴巴，Blink和Flink在Apache框架下怎么合并，是一件值得期待的精彩事情。Apache的PMC member一票否决机制，更是非常考验阿里巴巴开源社区生态玩法的能力。

撇开技术层面来看，非技术层面主要是看已经占据了美国，背靠微软等大企业的DataBricks的Spark和背靠阿里巴巴的Flink如何在国际舞台上展开竞争了。这个竞争会是一个对未来几年大数据技术有深远影响的事件。中国大市场上未来到底是Flink还是Spark更是一件值得关注的事情。

关于这个事情的可能的几种结局，我多少有自己的一些想法。但是作为一个局外人，我也不敢说能看得多清楚。所以我也就不在公开场合多展开说了。无论如何，未来一段时间的流处理市场，会精彩纷呈，非常的值得期待。

欢迎加飞总的知识星球程序员的崛起