腾讯云容器服务 TKE 推出新一代零损耗容器网络

Posted 2020-12-21 tencent-cloud-native

随着容器技术的发展成熟，越来越多的组件迁移到容器，在技术迁移过程中，数据库，游戏，AI 这些组件对容器网络性能（时延，吞吐，稳定性）提出了更高的要求。为了得到更优的时延和吞吐表现，各大云厂商都在致力于缩短节点内容器的网络访问链路，让数据包能尽可能快地转发到容器网卡。

腾讯云容器服务 TKE 借助智能网卡推出下一代容器网络方案，该方案实现了一个 Pod 独占一张弹性网卡，不再经过节点网络协议栈（default namespace），极大缩短了容器访问链路，缩短了访问时延，并使 PPS 可以达到整机上限。该方案实现了短链接场景下 QPS 相比之前容器网络方案（策略路由方案，网桥方案）提升 50%-70%；长链接场景下 QPS 提升 40%-60%。

由于不再经过节点网络协议栈，传统基于 iptables 和 IPVS 的 ClusterIP service 访问方案不能直接适用于该方案。为了实现该方案下 Pod 可以直接访问 ClusterIP service，TKE 推出 share-NS IPVS 方案，使得在容器网络命名空间下也可以访问到节点网络协议栈的 IPVS 规则，同时配合 CLB 直通 Pod，实现了完整意义上的弹性网卡直通。

该方案实现了针对 ClusterIP service 短链接场景下 QPS 相比 iptables 方案提升 40%-60%，IPVS 方案提升 70%-90%；长链接场景下 QPS 相比 iptables 方案提升 30%-50%，IPVS 方案提升 50%-70%。

新一代容器网络方案推出背景

在介绍新一代容器网络方案前，先和大家介绍一下 TKE 现有网络方案，和现有网络方案面临的挑战，以及客户新诉求。

现有网络方案介绍

腾讯云容器服务 TKE 目前提供了两种容器网络模式可供用户选择使用。

GlobalRouter 模式：基于 vpc 实现的全局路由模式， 目前是 TKE 默认网络方案。该模式依托于 vpc 底层路由能力，不需要在节点上配置 vxlan 等 overlay 设备，就可以实现容器网络 和 vpc 网络的互访，并且相比于 calico/flannel 等网络方案，因为没有额外的解封包，性能也会更好。

VPC-CNI 模式： TKE 基于 CNI 和 VPC 弹性网卡实现的容器网络能力，适用于 Pod 固定 IP，CLB 直通 Pod，Pod 直绑 EIP 等场景。该网络模式下，容器与节点分布在同一网络平面，容器 IP 为 IPAMD 组件所分配的弹性网卡 IP。

GlobalRouter 和 VPC-CNI 模式目前已服务 TKE 上万企业用户， 两种网络模式也存在一定使用限制见：如何选择TKE网络模式，随着客户使用场景的丰富， TKE 的客户对容器网络又提出了更高的要求。

客户对 TKE 网络方案的新需求

除了在为腾讯外部 TKE 客户提供容器网络能力之外，腾讯云容器服务 TKE 作为腾讯内部业务云原生的底座，在支持腾讯内部自研业务上云如 QQ、腾讯会议、游戏、CDB、大数据等业务的过程中也收到以下的需求点：

• 在 VPC-CNI 模式的基础上进一步降低资源损耗，降低网络时延，提高网络吞吐（关键点）
• 支持 Pod 级别的安全隔离
• 支持 CLB 直通Pod，不再经过 NodePort 转发，提升转发性能并拥有统一的负载均衡视图

基于以上场景，TKE 团队联合底层腾讯云 VPC 团队、虚拟化团队推出了新一代的独立网卡的 VPC-CNI 方案。

TKE新一代网络方案介绍

TKE 新一代网络方案在原有 VPC-CNI 模式单网卡多 IP 模式的基础上， 进阶为容器直接独享使用弹性网卡，无缝对接腾讯云私有网络产品的全部功能，同时在性能做了极大的提升（详情见下文性能介绍）。

压测数据说明

• 为了得到不同网络方案下的 QPS，这里控制变量，让不同网络方案的 nginx Pod 运行在同一个节点，使用 wrk 分别压测不同 Pod，并让服务端节点的 cpu 接近100%。
  
  

• 为了得到不同 Service 方案下的 QPS，这里控制变量，让 kube-proxy 和 wrk Pod 运行在同一节点，压测相同后端，并让客户端节点的 cpu 接近100%。
  
  

功能简介

新一代 VPC-CNI 模式的网络方案中，能够在原有的网络能力中额外增加

1. 支持 Pod 绑定 EIP/NAT，不再依赖节点的外网访问能力，无须做 SNAT，可以满足直播、游戏、视频会议等高并发，高带宽外网访问场景
2. 支持 Pod 绑定安全组，实现 Pod 级别的安全隔离
3. 支持基于 Pod 名称的固定 IP，Pod 重新调度后仍能保证 IP 不变
4. 支持 CLB 直通 Pod，不再经过 NodePort 转发，提升转发性能并拥有统一的负载均衡视图
5. 即将支持黑石 2.0物理服务器（推荐使用， 默认使用智能网卡，网络性能更高）
6. 即将支持基于 Pod 名称的固定 EIP，满足 Pod 固定外网出口

使用方法

申请新一代容器网络方案内测开通后，创建 TKE 集群时容器网络模式选择 VPC-CNI/Pod 独立网卡模式即可：
?

实现原理简介

新一代方案在原有 VPC-CNI 模式的基础上扩展，依托于弹性网卡，将绑定到节点的弹性网卡通过 CNI 配置到容器网络命名空间，实现容器直接独享使用弹性网卡。

您可以关注腾讯云原生公众号，后续将会推送 TKE 新一代网络方案实现的技术细节。

当前内测阶段使用限制

1. 仅支持部分 S5 的机型使用该网络模式。
2. 节点上运行的 Pod 数量限制为节点核数的5倍。
3. 仅支持新集群，存量 TKE 集群暂不支持变更网络方案。

TKE新一代网络方案内测邀请

我们诚挚邀请您参与腾讯云下一容器独立网卡网络方案产品能力的内测， 您可以通过以下链接提交内测申请：https://cloud.tencent.com/apply/p/85p1zs6x777

【腾讯云原生】云说新品、云研新术、云游新活、云赏资讯，扫码关注同名公众号，及时获取更多干货！！