分布式存储协议或加速边缘计算技术演进

Posted 2021-04-19 增强界

边缘存储面临的问题

随着芯片技术的不断发展，各种大数据、AI算法的不断演进和5G的部署，边缘计算的计算和网络接入能力已经不断提高，但是存储的问题一直没做到很好的解决。边缘数据需要分流处理，这是不可避免的趋势。在IOT生成的海量数据中，有些数据是需要被实时计算，上传特征值，有些数据需要分时计算，分步计算，有些数据需要经常性被重新计算，分析，还有些数据需要长时间留存，甚至很少被使用。

现有的物联网设备存储主要靠本地存储单元来保存数据，存在存储能力有限，扩展困难的问题。为此又提出了不少企业级的存储方案，但这些方案也存在许多问题，比如各家标准不统一，基于不同的硬件方案有不同的接口方案，不同的服务商之间无法进行数据的链接和处理，使大量数据存在互相隔离的“容器”中，无法有效的在不同存储提供商之间扩容。并且同一个边缘中心内的数据没有隐私保护和足够的冗余备份，相当于在业务环境中架设了一个个私有“云盘”。最后，采购的多余存储服务无法实现价值，浪费资源。

分布式存储协议重构边缘存储

针对上面提出的问题，需要一个新的分布式存储协议来重构边缘存储方案，将不同存储业务的垂直扩展变成水平扩展，打破业务边界，使边缘存储成为一个独立的，对外提供统一服务的存储层。

1. 统一完整的面向服务的上层接口，隔离存储业务的复杂性

在分布式存储协议中，需要将存储服务的加入，退出，数据的确权，存储，分发，检索，支付等抽象为接口，成为标准协议，这些标准不基于特定的语言，算法和网络协议来组织业务，只要符合统一接口的实现，并且基于服务方共识的业务治理逻辑，不管治理模式是区块链，还是传统的中心化管理平台，只要符合协议标准，服务商都可以参与服务。

2. 统一的点对点通信协议

在存储服务层，没有预设的拓扑结构，以端对端的服务为核心。在网络协议上层提供可组合的序列化/反序列化方法，加密算法，握手机制，数据摘要算法等，隔离网络层的复杂性，使运行不同语言编写的，不同操作系统的设备在网络层能够互相识别，完成数据交互服务。

3. 基于数据内容确权的命名机制

4. 可编程的权限控制

从数据的诞生开始，提供全周期的权限控制。用户可以控制数据是在边缘侧进行处理，还是以加密的形式在存储层持久化。对于不同的应用，设置可编程的权限控制信息，该信息应该做到整个网络的业务治理逻辑同步。基于上面的命名进制，对数据在网络中的交换做到可控可查。

物联网的快速发展和云计算的促进了大数据，AI产业的蓬勃兴起，同时也引入边缘计算的计算范式。在各种网络接入模式和巨量数据的爆发式增长的背景下，边缘存储也受到了很大的挑战，尽管上面的分布式存储协议还有很多实际问题需要解决后才能实现，但也不失为边缘计算的一个好的演进方向，帮助开发者能够关注到这么一个领域，共同推进下一代网络技术演进。

—END—