从中心走向边缘，Serverless加CRDT是云计算的未来？
Posted 聊聊架构
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了从中心走向边缘，Serverless加CRDT是云计算的未来？相关的知识，希望对你有一定的参考价值。
Kuhiro 的 CTO Russell Sullivan 发文介绍了他们的 NearCloud 产品，并指出 Serverless 加 CRDT，从中心走向边缘是去计算未来的发展方向。
作为新兴的 IaaS 解决方案，Serverless 已然成为野心勃勃的互联网计算平台。从亚马逊 2014 年推出 Lambda 开始，Serverless 已经扩展到了 CDN Edge，并向移动、物联网和存储领域进军。CDN Edge 的 Serverless（SAE）是一个全新的领域，它预示着业务逻辑将从单一的云区域向互联网边缘转移，未来的服务器有可能直接运行在蜂窝基站里。随着 5G 技术的发展与普及，SAE 到服务之间的延迟降到了几毫秒，互联网将转变成一个全局性的实时计算平台。
在经历了创业并出售了一个 NoSQL 公司之后，Russell 意识到，计算无非局限于两个方面：数据中心或设备，这两者之间存在着一个巨大的待开发处女地。于是，他召集了一班聪明人成立了 Kuhiro，一个专注于将云推向互联网边缘的初创公司，逐步创建一个靠近用户的去中心化云——NearCloud。
NearCloud 的基础是计算和数据，于是他们构建了一个有状态的 SAE 系统。他们在 CDN Edge 运行客户的业务逻辑，让这些函数实时地读取和写入客户数据。他们在 CRDT 数据层投入了大量精力，实现低延迟的动态 Web 处理。客户借助 Kuhiro 将对延迟敏感的应用从云端迁移到边缘，变成全局性的实时应用。
从物理层面来看，SAE 有点类似 CDN：很多迷你数据中心分散在国家（或者全球）的各个角落，为近距离的用户提供低延迟的服务。SAE 用户将 URL 域名改成 SAE 供应商的域名，他们的请求就会被发送给就近的 SAE PoP（Points-of-Presence）。
在美国，SAE 系统可以部署在 30 万个基站上，99% 的人口距离他们附近的基站只有几公里。
一般来说，去中心化在带宽、延迟和健壮性方面都会带来好处。为了说明这点，接下来以亚马逊的仓储中心为例。亚马逊的仓储中心为 Prime 会员提供两天到货的物流服务，货品直接从各个分散的货仓发出。
去中心化仓储中心的好处在于：
延迟：Prime 会员要求货物必须在两天内送达，低延迟是 Prime 的核心竞争力。
带宽：仓储中心越多，每个仓储中心需要处理的货品就越少，Prime 会员规模就可以更好地伸缩。
健壮性：如果硅谷的仓储中心没有可用的送货车，或者遭遇了地震，加尼福尼亚的仓储中心可以接管订单。
SAE 系统与亚马逊的仓储中心类似：
延迟：Edge PoP 位于用户的就近位置或云区域，延迟被降到最低。
带宽：每个 PoP 只负责处理一部分用户，不需要将请求路由到中心系统：负载是分布式的，可以更好地伸缩。
健壮性：如果 PoP 出现饱和或者遭遇地震，负载立即被重定向到就近的 PoP。
去中心化的三大好处（延迟、带宽、健壮性）给整个互联网带来了不可估量的价值，Web、移动、游戏、广告、虚拟现实、地图，等等。
降低延迟可以改进用户体验，是竞争力的源泉。而对于公司来说，带宽和健壮性更是无价之宝，他们不再担心运维和动态伸缩问题，在流量高峰来临时也不怕。几乎所有的互联网应用都可以从去中心化的云中获得好处。
接下来从物理层面来比较一下 Edge 和云的区别。
单个云可以包含超过 10 万个服务器，而 Edge PoP 则要小得多（通常在 10 到 100 台之间），PoP 提供的硬件资源比云要少很多。
所以，想象一下，10 台服务器如何能够为 1 万个用户提供 IaaS 服务？不用说每个用户是否能够获得一台虚拟机，单是一个私有的容器都不行。所以必须缩小计算单元，也就是使用函数——FaaS（也就是 Serverless），那么这样可以把 1 万个用户函数部署在 10 台服务器上吗？这个是可以做到的，甚至可以部署更多的函数。
Serverless 的低资源消耗特点与 Edge PoP 有限的资源配置相得益彰。
那么 SAE 现在已经发展到什么程度了？作为一个新兴领域（始于 2016 年），提供 SAE 服务的公司还很少，但一直在增长。目前最主要的两个产品分别是 Cloudflare 的 Workers 和亚马逊的 Lambda@Edge。这两个产品都很安全，并以无服务器的形式提供最小化的 IaaS Edge 服务，但在灵活性和性能方面则有所区别。
可惜，不管是 Cloudflare Workers 还是 Lambda@Edge 都没有提供动态数据选项，它们只提供计算功能。缺乏动态数据能力（也就是无状态能力）限制了一些 SAE 功能，比如基于客户端状态（如 URL-Parameters、Cookie、User-agent）或 orign 状态（如 Etag、Cache-Control）重写请求和响应消息。
无状态计算更像是网络路由，而不是一般的编程模型：智能负载均衡和重写请求或响应消息。可以想象一下，如果亚马逊把所有的商品存放在一个中心仓库里，而且仓储中心只有接收订单和向外发送包裹的能力，那么 Prime 的体验会很糟糕，一个订单可能需要等上几天甚至几周。
SAE 之所以是无状态的，是因为往大量 PoP 增加数据层会比较复杂。理想情况下，可以为每个 PoP 增加一个数据库，每个函数直接操作这个本地数据库，然后把数据复制到其他 PoP 数据库里。但这里有一个问题：在将一个中心数据库拆分成多个数据库之后，在这些数据库之间复制数据会导致冲突，而且节点之间的物理距离越长，出现数据冲突的几率就越高。
对数据进行去中心化有两种方式：一种是基于共识（consensus），一种是基于 CRDT（Conflict-free Replicated Data Type）。这两种方式都有各自的优缺点，稍后会详细解释。
接下来深入了解一下如何往 SAE 添加数据层。
如果在 SAE 中修改了单个 PoP 的数据，那么需要把数据复制到哪些地方？是复制到所有的 PoP 上还是部分 PoP 上，又或者不复制？这个要取决于实际情况，所以说以上三种情况都是有可能的。
SAE 复制可以被想象成一个图谱，左边是为 single-user 复制，右边是 all-users 复制。
single-user 复制的流程很简单，只需要将单个 PoP 的数据备份起来就可以了，而 all-users 复制则需要进行点对点的数据广播（加上备份）。如果发生故障，single-user 复制会变得复杂一些。用户需要切换到另一个 PoP 上，所以需要从多个 PoP 并行复制到其他多个 PoP 上。
在最糟糕的情况下，如果数据修改频繁，那么 all-users 复制就会变成自我 DDoS 攻击。为了避免出现这种情况，可以通过增加延迟来换取性能，并采用批次的方式，这样可以获得更好的伸缩性。
Edge 的数据复制问题非常独特，与已有的数据存储复制流程不太一样，所以需要新的技术来支持它。
所幸，Edge 的状态复杂性可以通过一些数据结构和相关算法（Conflict-free Replicated Data Type，CRDT）来解决。CRDT 算法允许参与者自主修改数据，并以零共识的方式自动解决数据冲突。CRDT 的这些特点（自主性、零共识、自动解决冲突）是 SAE 平台实现低延迟的基础要素。
自主性意味着 PoP 可以在本地处理请求并快速做出响应，不需要与千里之外的其他 PoP 达成共识。PoP 的自主性和并行修改数据会导致数据冲突，而 CRDT 可以通过多种数据结构自动解决数据冲突，并提供最终强一致性。
尽管 CRDT 也存在一些不足，但比起基于共识的解决方案要好得多。
以谷歌的 Spanner 为例，Spanner 是目前最为先进的基于共识的数据层解决方案，Spanner 的论文中提到：
客户端和区域需要处于网络延迟低于 1 毫秒的数据中心里。
Spanner 并不适合用于长距离节点，也无法实现低延迟的并行提交。Spanner 使用的是两阶段提交，每个事务需要穿行网络两次。美国东海岸到美国西海岸一个来回需要 100 毫秒，那么两阶段提交需要 200 毫秒，这对于大部分应用程序来说都太慢了。
经过实测，对于美国西海岸的用户，Kuhiro 比 Lambda 快上 5 到 10 倍，东海岸用户为 2 到 4 倍，而国际用户则为 50 倍。降低延迟对增加营收有直接的影响，Kuhiro 正是这样的一种工具，帮助客户提升应用程序速度，改进用户体验，最大化利润。
这里有一个视频记录下了 Kuhiro 数据层不可思议的健壮性。在 12 分钟的时间里，随机停掉不同数据中心里的节点，甚至关闭整个数据中心，然后再重新启动，简直就是乱来一通。而视频里显示，基于 CRDT 的系统仍然健壮如牛。
数据层的健壮性不仅在发生宕机或发生数据中心故障时能够带来好处，它还能降低 DDoS 攻击所带来的影响。
NearCloud 看似遥不可及，但其实它已经带着有状态 Serverless 来到了 Edge 系统里。SAE 最主要的优势在于它全局性的低延迟，另外还具有高度的健壮性（包括降低 DDoS 攻击的影响面），当然也具备 Serverless 所有的优点。Kuhiro 的有状态 Serverless 为用户提供了创建去中心化应用的能力，也可以对已有的 Serverless 应用去中心化，为客户提供超低延迟的服务。
http://highscalability.com/blog/2017/11/6/birth-of-the-nearcloud-serverless-crdts-edge-is-the-new-next.html
本次为读者拉到了一本《可伸缩架构》、两本《未来镜像》和三本《OKR：源于英特尔和谷歌的目标管理利器》的赞助。欢迎留言，本文会从后台留言中释放出精彩留言，并为排在前 6 位的精彩留言者每人随机送出上述书籍 1 本。
可伸缩架构：作者 Lee Atchison 在可用性、风险管理、服务和微服务、扩展应用程序和云服务方面提出了一些技巧，使得我们在构建各类应用程序时，既能够保证产品的质量，又能够处理海量的流量、数据以及需求。
OKR：源于英特尔和谷歌的目标管理利器：OKR 是联结组织战略和团队、员工目标的利器。本书是 OKR 应用方面的综合性指导，旨在帮助企业克服各种错综复杂的挑战，包括：如何更好落地执行战略规划、如何更好构建高效组织、如何保持组织持续增长、如何避免颠覆式创新的冲击、如何帮助员工确定工作优先级。
未来镜像：本书收录了 9 位中国科幻作家的短篇小说，《三体》译者刘宇昆领衔翻译，为您呈现中英文双语之美。知名编剧、策划人鹦鹉史航如是评价此书：这世界有很多种打开方式，我在这书里遇见了九种，九种都那么有趣，我只能眼花缭乱，举棋不定。
上一次送书发生在这里：
推荐即将在下周五开幕的 ArchSummit 全球架构师峰会。
2017 年在架构领域发生了很多大事，Kubernetes 结束容器编排之争、Kafka 发布 1.0、Serverless 逐渐发力、边缘计算要取代云计算、Service Mesh 蓄势待发。另外人工智能为业务赋能，也给架构带来了新的挑战。
我们希望用 4 场深度培训和 100+ 分享来总结过去的实践，也展望面向未来的架构，献给聊聊架构的读者。我们还请来了王坚博士，让他来分享一下对技术的思考。
大会完整演讲目录，可识别下方二维码或点击 阅读原文 了解，期待和你一同进步！
以上是关于从中心走向边缘，Serverless加CRDT是云计算的未来？的主要内容，如果未能解决你的问题，请参考以下文章