Serverless 在数据处理场景下的最佳应用

Posted 2021-09-14 Serverless

我们知道传统的数据处理无外乎涉及 Kafka、Logstash、File Beats、Spark、Flink、CLS、COS 等组件。这些海量服务器组件承担着从数据源取数据，数据聚合过滤等处理，再到数据流转的任务，不管是开发成本、运维成本以及价格方面都有所欠佳。下面将为大家详细介绍：云函数 SCF 是如何降低传统海量服务器组件的开发和运维成本的。

01. 腾讯云云函数 SCF

腾讯云云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境，在无需购买和管理服务器的情况下运行代码，是实时文件处理和数据处理等场景下理想的计算平台。只需使用云函数平台支持的语言编写核心代码并设置代码运行的条件，即可在腾讯云基础设施上弹性、安全地运行代码。

云函数具有资源编排，自动伸缩，事件驱动等能力，覆盖编码、调试、测试、部署等全生命周期，同时提供了贴合应用场景的框架，开发者根据实际需求选择对应的框架之后，只需专注于业务逻辑的开发，无需关心底层的资源，帮助开发者通过联动云资源，迅速构建 Serverless 应用。

02. 云函数 SCF 在数据处理的位置

云函数作为腾讯云基础的 Serverless Faas 能力，已打通众多云上产品的事件触发，例如 Ckafka、CLS、COS、APIGW、CMQ 等产品，作为各个云产品的 “粘合剂”，从简单的数据转储，到复杂的数据清洗、过滤、聚合等，都有现成的解决方案。

如图所示，在云上产品整个上下游生态图中，云函数处于中间层，起到数据聚合，数据清洗，数据流转的作用。