大数据“重磅炸弹”：实时计算框架 Flink

Posted 2021-04-13 CSDN

你是不是经常体验或看到以下这些场景？

小田，你看能不能做个监控大屏实时查看促销活动销售额（GMV）？

小朱，搞促销活动的时候能不能实时统计下网站的 PV/UV 啊？

小鹏，我们现在搞促销活动能不能实时统计销量 Top5 啊？

小李，怎么回事啊？现在搞促销活动结果服务器宕机了都没告警，能不能加一个？

小刘，服务器这会好卡，是不是出了什么问题啊，你看能不能做个监控大屏实时查看机器的运行情况？

小赵，我们线上的应用频繁出现 Error 日志，但是只有靠人肉上机器查看才知道情况，能不能在出现错误的时候及时告警通知？

小夏，我们 1 元秒杀促销活动中有件商品被某个用户薅了 100 件，怎么都没有风控啊？

小宋，你看我们搞促销活动能不能根据每个顾客的浏览记录实时推荐不同的商品啊？

。。。

那这些场景对应着什什么业务需求呢？我们来总结下，大概如下：

初看这些需求，是不不是感觉很难？那么我们接下来来分析一下该怎么去实现？

从这些需求来看，最根本的业务都是需要实时查看数据信息，那么首先我们得想想如何去采集这些实时数据，然后将采集的实时数据进行实时的计算，最后将计算后的结果下发到第三方。大概会有以下三个方面：

• 数据实时采集

• 数据实时计算

• 数据实时下发

本文从日常老板的需求口吻来讲解现在越来越多的实时性要求高的需求，并将这些需求做了个归纳统计，然后从需求里面得到了该如何去实现这类需求，是需要实时采集、实时计算、实时下发，并用图片把需求完成后的效果图展示了出来。

接着我们分析了对实时性要求高的计算这块，然后将离线计算与实时计算进行了对比，批处理与流处理进行对比，离线计算的特点与实时计算的特点，加上我自己的调研结果，归纳了实时计算的四种使用场景，提出了使用实时计算时要面临的挑战，因为各种需求，也就造就了现在出现不断的实时计算框架，接着看了下市场上所有的实时框架，但是因为这类对比的文章网上比较多，因此我只介绍了 Flink 的特性和其 API。

通过这篇文章的学习，你可以知道实时计算有哪些场景，你的公司这些场景是不是也可以换成 Flink 来做？同时也知道了实时计算与离线计算的区别，并初步认识了一下这个好玩好用的实时计算框架——Flink。

限于篇幅，感兴趣的同学可以扫码

继续查看完整全文

▼

后面系列 Chat 文章中我们通过多个实战和大型案例来讲解 Flink，也欢迎大家订阅后在读者圈交流沟通你们公司是不是也在使用 Flink？使用 Flink 遇到什么坑？大概哪些场景使用到了 Flink？有没有更多的场景可以使用 Flink？

点击阅读原文，订阅本场 Chat ，查看完整全文