Flink China重磅上线——5.12Flink & Spark meetup完美收官

Posted 2021-04-13 Flink

精彩回顾

5.12Flink & Spark  Meetup 圆满结束，Flink China会在会后同步本次活动的干货内容！  

---

  5.12 Flink&Spark meetup  

【导读】5月12日， Flink & Spark  Meetup 在杭州华研所举行，阿里、华为、丁香园、滴滴等7位大数据技术专家做了深入的分享和讨论，盛况空前。此外，Flink China 也在会上正式宣布上线，号召更多大数据爱好者一起，参与翻译，优化文档，传播布道！

5月12日，Flink & Spark  Meetup在杭州华研所举行。本次活动分享嘉宾除了阿里、华为、丁香园和滴滴的技术专家外，Spark和Flink的PMC也远程参与了此次活动，现场两百人的会场坐无缺席，现场很多同学全程站着听完了分享，活动盛况空前。

一

风起云涌的大数据时代

 华为-时金魁

在杭州举行的meetup此前华为举办了5次，活动规模也日益壮大，也说明以Spark和Flink 这种为代表大数据计算引擎的市场影响逐渐升温。祝威廉演讲完的时候，时金魁强行插播了一条‘硬广’——‘Spark 很强大，但Spark所能实现的功能Flink都能实现’，也成为此次严肃干货分享活动中为数不多的笑点。

二

Spark对Hadoop：你想知道你是怎么没的么？

现在Hadoop已经从传统的Hadoop三驾马车HDFS，MapReduce和HBase社区发展为60多个相关组件组成的庞大生态，一度称王近十年。而如今风头正盛的Spark，正有盖过Hadoop之势。Spark以其RDD模型的强大表现能力，不断完善自己的功能，逐渐形成了一套自己的生态圈。

       Spark PMC范文臣

当使用 Spark 来分析数据的时候，如何快速地访问数据是一个关键问题。本次演讲中文臣会给大家讲解 data layout 是如何影响 Spark 程序的性能，以及如何根据使用的 workload 来选择合适的 data layout。

丁香园-祝威廉

祝威廉就《MLSQL，一种基于Spark平台上的SQL方言》为题，着重介绍了MLSQL基于Spark框架提供对于Machine Learning的SQL封装，很好地融合算法训练和数据预测两部分计算逻辑，并在此基础上为丁香园封装了一套算法开放平台——Skone。

滴滴-陶然（左）, 杨旋（右）

滴滴基于Flink/Spark/Druid实现公司内部BI系统构建，主要讲解了Flink应用、Spark Streaming最佳实践、Druid系统与应用。

三

第三代大数据计算引擎——Flink 

随着时代的发展，在线业务对实时性的要求越来越高，而受限于其本身底层的数据模型，Hadoop和Spark在实时性方面都显得有些力不从心。于是流计算应运而生，这方面的代表有Flink、Spark、Spark streamming等等，尤其是Flink，从诞生之初就以数据流作为底层模型，完美解决数据实时性的问题。

Flink 作为后起之秀，以其分布式、高性能、高可用、高精确的特点和优势，迅速攻城略地，抢占市场。行业上更有人称之为继Hadoop和Spark之后的第三代大数据计算平台。相对Spark、Storm、Hadoop，Flink 人力成本低，开发运维成本低。依托底层数据流应用而生的开源流式处理框架，在实时计算的数据处理场景上，无疑占据了重要的优势地位。

  华为-冯叶磊

活动现场，华为冯叶磊以《Time GeoSpatial on Flink SQL》为话题，着重介绍了华为Flink的进展，主要围绕三点展开：

1. SQL功能扩展：支持CEP、支持地理位置函数

2. 提供界面拖拽的界面，支持用户拖拽实现流式计算

3. 集成提供大量异常检测算法。

阿里巴巴- 梁永锋（天姥）

梁永锋介绍了对flink的扩展，以及基于flink的流计算平台架构和部署方式，以及在解决用户痛点的一些尝试。

阿里是世界上最大的电子商务零售商，其2015年的年销售额就超过了eBay和Amazon的总和，达3940亿。Alibaba Search，个性化搜索和推荐平台，既是顾客的关键入口，也承担了大部分的在线收益。因此，阿里搜索基础设施团队一直在努力改进产品。Apache Flink就是这样一项技术，而阿里现在通过基于Flink的系统，来支撑它的搜索基础设施的核心，以向终端用户提供相关、精准的信息。

此外，Flink PMC Fabian Hueske在德国也远程视频参与此次活动。

四

开发者福音——Flink China重磅上线

Flink学习者福音！

此前有关Flink的权威／专业网站较少，很多爱好者学习Flink只能通过Apache Flink官网或者相关英文网站学习，国内专业的科普网站较少。会上阿里的产品专家巴真透露，Flink China在前不久已经上线，已经对Apache Flink官网首页进行了完整对翻译和校对，国内Flink爱好者可以畅通无阻的阅读、学习。

Flink China 首页 

目前社区首页翻译版本已经上线，为了持续性的推出更新、更专业、更权威的学习资料，Flink China翻译小组也正式对外组建，旨在向国内宣传和普及Flink相关的技术，输出技术，博文、译作、资讯等内容，推动国内大数据技术发展的开源社区。欢迎对大数据行业抱有热情的同学一起参与，翻译、校对和优化中文文档的相关工作。

阿里巴巴-巴真 

此外，巴真还表示，以Flink为主题的meetup将在6月下旬举办，同时，Flink领域盛会——Flink Forward今年也将登陆中国，届时也欢迎业界的小伙伴们再和我们一起深入讨论、交流！Flink China和Flink 微信也将同步最新消息，敬请关注。

本次活动的礼品，也均由华为和Flink China共同赞助！

五

现场花絮

2018年是大数据技术深入变革的一年，随着企业大规模云化、人工智能门槛降低，自然语言理解、机器学习 / 深度学习、Serverless 架构等创新理念在互联网架构中逐渐落地，一些新的概念比如区块链、大前端等也展现出非凡的应用前景。

---

精彩回顾

5.12Flink & Spark  Meetup 圆满结束，Flink China会在会后同步本次活动的干货内容！  

本次演讲嘉宾的PPT干货将存放在Flink China，欢迎下载交流！