网易云 Kafka 服务今日正式上线

Posted 2021-05-02 网易云基础服务

网易云 Kafka 服务于今日凌晨正式上线，将为广大用户提供部署灵活、运维简单、高性能且易用的分布式消息服务。

 

Kafka 服务简介

Kafka 是一种高性能、高可用的分布式消息服务，已广泛应用于事件收集，消息传输，日志聚合，数据归类，流式处理等方面，帮助传媒、金融、搜索、监控、网络购物等领域企业轻松应对高访问、海量消息处理等业务场景。

相比于传统意义上的消息处理组件，Kafka 带有显著的大数据时代基因，比如分布式、多分区、水平可扩展，多副本容错等，这一设计模式带来了高吞吐、低延迟、高可用且实时的处理，用户只需专注于业务逻辑，而将分布式协调等方面的难度丢给 Kafka 即可。

另外，相较于传统的基于内存的缓存方式，Kafka 基于commit log（磁盘持久化以及由此衍生出的消费者 pull 模式）的设计在历史数据分析、各类系统接入、可扩展性、以及故障恢复等方面为用户带了极大的便利。

网易云 Kafka 做了哪些优化

网易云 Kafka 继承了 Apache Kafka 的诸多优势，例如多客户端支持，消息不重不丢，高吞吐，低延迟，持久化，多副本容错等。另外，相对于 Apache Kafka 的复杂的部署、配置及运维方式，网易云 Kafka 在易用及可用性上做了极大的改进，提供可视化地集群创建，详情查看，规格更改，Topic 创建，Topic 管理等功能。

集群创建

资源透明，一键创建，短时即用。省去了资源购置，配置修改等诸多烦恼。

详情查看

集群形态一目了然，节点性能（CPU、内存、磁盘、网络）实时监控。

规格更改

一键水平扩展，即时应对流量洪峰。

Topic 创建

分区数目、老化策略可配，一键创建。

Topic 管理

生产消费吞吐实时显示，消费实例分布及延迟一目了然。

 

网易云 Kafka 产品特性

高可用

集群默认内置 3 副本，各节点部署于多台宿主机中，确保服务高可用。

高性能

已针对不同规格做必要的性能调优，用户创建即用（特殊场景下使用可联系网易云 Kafka 团队做针对性的调优）。

快速交付

一键部署，快速交付至用户手中，用户无需从环境配置开始搭建 Kafka 集群。

便捷管理

可视化的集群及 Topic 操作，简单易用，节省运维成本，简化运维过程。

灵活扩展

支持在线伸缩服务规格，用户可根据具体业务随时对集群进行动态的伸缩，最大化契合用户的生产环境需求。

节省成本

超低成本，可根据用户实际的业务场景对集群进行按需伸缩，避免资源的浪费。

 

网易云 Kafka 应用场景

消息系统

例如应用于消息推送系统，Kafka 可作为该系统的核心组件，对消息的产生发送过程解耦，对消息进行分类、缓存，削峰填谷，减轻处理端的负担，简化处理逻辑。

用户行为跟踪及分析

用户在网站上的浏览，搜索等操作可分类存储到 Kafka 的不同 topic 中，网站服务商可借此对用户行为进行实时分析，实时监控，尤其是在用户大量访问的情况下，更需要 Kafka 这一高吞吐、低延迟的利器。另外，得益于 Kafka 的持久化存储，服务商可将一定时期的用户数据从 Kafka 导入其他离线系统中做进一步分析，得出用户画像。

日志收集

这一点与 Flume 相似，但是得益于 Kafka 天然的副本机制，其在存储上有更高的容错性。另外，Kafka 对客户端所属系统无限制，因此可接入更多的生态中（随着 Kafka Connect 的推出，Kafka 接入各类系统的开发成本已降低很多）。当然，用户可以自行选择 Flume + Kafka, 或者  Kafka + Flume 这样的方式来发挥两者各自的优势。

流式处理

Kafka 从 0.10.0.x 版本开始引入内置 stream 服务，来应对相应的流式处理需求，当然您仍可以选择目前热门的流式工具 (如 Storm 等) + Kafka 的方案。

 

对客户端配置的建议

使用 Kafka，总是绕不开对客户端的配置。

• 在对吞吐量要求高的场景下，可采用 Leader 确认（acks=1）乃至异步的 (acks=0) 发送模式，同时可调大 Topic 的 partition 数目，增大生产消费的并行度。

• 在对可靠性要求很高的场景，可采用完全的同步模式 (ack=all)，同时，不宜设置过多 partition数目。

从消息系统到流式平台

从 0.9.0.x 版本开始，Apache Kafka 社区在原有 Kafka 服务基础上依次加入了 Connect 和 Stream 模块，至 0.10.0.x，社区将 Kafka 定位为一个分布式流式平台，而不再是一个单纯意义上的消息系统。考虑到 Kafka 设计中多分区，多副本，高容错以及消费者协调等机制，应该说 Kafka 本身在存储及计算上即具有天然的分布式基因，由此衍生出 Kafka Connect 及 Kafka Stream 是自然而然的。网易云 Kafka 将紧随社区趋势，视用户需求，逐步推出相应的服务。

Kafka Connect

Kafka connect 是用于 Kafka 与其他数据系统（JDBC, HDFS，S3，Elasticsearch 等）间数据流转的工具。满足分布式，高可用，易扩展，容错等特性。

规划中的网易云 Kafka Connect 服务将包含以下特性：

• Connect 集群一键部署，高可用，易扩展，随用随建，用完即删。

• 可指定多个 Connector，页面可视化配置，无需编写代码。

• Connect 作业状态实时监控，处理流量实时可见。

 

目前，网易云 Kafka 的首个 Connect 服务 ( KafkaToElasticsearch）已处于开发阶段，将包含如下特性。

• 可在 Kafka 端指定多个 Topic 作为输入。

• 自动创建 Index，消息不重不丢。

• 支持日志按指定粒度（年月日周时分秒）自动聚合到对应的 Index

 

Kafka Stream

Kafka Stream 是针对输入 Kafka 的数据做流式处理的轻量级应用程序，其输入输出均位于 Kafka Topic 中。满足分布式，高可用，易扩展，容错等特性。

网易云 Kafka Stream 服务目前处于规划中。欢迎您提出相应需求与我们沟通交流。

欢迎点击「阅读原文」进一步认识和体验网易云 Kafka 服务。

- END -