CLOS架构是啥？

Posted 2020-12-28 qiaoyanlin

有多少种技术能够在六十五年后依旧能够熠熠生辉，在IT的基础架构中扮演着重要角色？CLOS架构应该算是一项。Clos架构，诞生于1952年，是由由贝尔实验室一位叫Charles Clos的人提出的。CLOS交换架构可以做到严格的无阻塞（Non-blocking）、可重构（Re-arrangeable）、可扩展（Scalable），相比传统的CrossBar架构在突发流量处理、拥塞避免、递归扩展上均有巨大的提升。

由于近年来视频业务需求增加，压力较大，CLOS多级交换架构再次焕发活力，随着CLOS集群架构的普及，标准的x86服务器集群以低成本和高扩展性逐渐取代大型机和小型机而成为数据中心的主流。

以京东数据中心为例，下图就是一个典型的基于CLOS架构的数据中心解决方案，在这样的大规模网络中，如何让数据在传输过程中能以最快的速度从发送端到接收端，成为网络性能调优的关键因素。

从上面那张拓扑图中可以看到，同一数据中心需要经过5个Hop（从Rack ToR 到Row Spine，到Data Center Spine， 再到Row Spine，到Rack ToR），这需要消耗15微秒的延迟。1微秒比15微秒，在运行应用的过程中超过90%的时间消耗到了网络上，这种情形还不包括网络上有任何丢包导致的重传。

应该说网络影响应用性能的一个原因是，处理器的性能越来越高，应用到应用之间，点对点延迟越来越低。比如在高性能计算和AI应用中用到的MPI 协议，点对点传输的延迟可以小于1微秒（1us）， 而现在多数交换机的单个Hop延迟超过了3微秒。

那么，如何减小网络对于应用性能的影响呢？

京东IT资源服务部负责人吕科说："如何降低网络对于应用性能的影响是一个非常复杂的问题，也是所有的数据中心管理者一直在力求解决的问题。最好的方式就是我们的网络人员和应用人员一起来讨论应用对于网络的需求，我们专业的技术团队会针对需求，测试和选择最合适的网络产品和网络方案。"京东IT资源服务部硬件系统部门技术负责人王中平给出了以下五种解决方案：

1、采用高性能的交换机

如果交换机的性能能从3微秒降低到0.3微秒，这样的话，整个网络的延时会降低到原来的十分之一。

2、采用性能高而且稳定的交换机

有的交换机转发性能不稳定，在不同的包大小情况下，会有不同的转发性能，在小包的情况下可以有低的延迟，在大包的情况下延迟会大幅增加，导致网络性能不可预测。有的交换机转发性能可以不随着包大小的变化而波动，一直维持在低延迟的状态。

3、避免出现多对一通讯时的不公平现象

如果出现这种不公平现象，会导致网络转发速度不均，出现先到后得的现象。

4、建立快速的网络拥塞控制机制

在大型的网络中，拥塞是不可避免的，如何能有效的管理拥塞和降低拥塞带来的丢包和重传，是现在网络管理中非常重要的一个技术难点。

5、降速慢传数据策略优于丢包重传数据

 

在网络中，降速慢传和丢包重传是两种被用来解决拥塞的方式，实践证明，慢传比丢包重传更能有效的解决拥塞问题。

显然这种六十多年前的CLOS集群架构在今天再次焕发出生机。相较于Crossbar的部署规模有限，缺乏冗余的劣势，CLOS架构不但适合大规模部署，每个Session有冗余链路，而且任何输入都能找到没有在同时使用的线路，实现无阻塞架构。