数据中台：Snowflake的独特技术优势

Posted 2020-12-21

Snowflake已于2020年9月16日正式上市，市值超过700亿美元。该公司成立于2012年，致力于为企业提供数据云平台，帮助客户打破数据孤岛，方便企业运用和分享数据，并从中获得数据价值和商业洞见。Snowflake提供的产品技术服务在国内更多被称为数据中台。当然，它独特的技术优势是获得资本亲赖的原因之一。

云端原生性
Snowflake提出了data-warehouse-as-a-service（DaaS）的概念，可以简单理解为原生于云端并专注于数据仓库的SaaS服务。Snowflake的云端原生性，和很多数据仓库提供商支持云端服务并非同一概念。其他云服务巨头，例如Oracle，Teradata，Netezza，尽管或多或少支持云端，因为本身产品架构的局限性，他们常常被证明并不能良好地解决很多现代企业面对的各种数据需求与问题。

独特的底层架构
Snowflake提出了独特的存储、计算以及管理服务分离的架构。Snowflake在Shared-nothing的基础上提出了Multi-cluster, shared data的概念。这种架构的关键在于将存储和计算彻底分离，从本质上解决了传统架构的痛点。
从存储层来看，Snowflake将所有表自动划分为接近固定大小的micro-partition，用以支持更加高级的time travel和data sharing功能。即使对数据库进行了clone，在逻辑上有了两个数据库，而底层的存储仍然只有一个版本。从计算层来看，Snowflake用T-shirt尺寸定义了算力，相比较其他云计算资源，极大地简化了provision的过程。用户可以随时提高或降低计算资源来应对需求，而且这些不同计算资源看到的数据都来自同一版本。从服务层来看，是另一个我认为Snowflake服务层非常独立。它由众多global services组成，涵盖operation management，optimization，tuning，security，availability，metadata，caching等任务。它解决了数据仓库易用性的问题，大大降低了需要的管理和运维成本，是其他竞争对手所不能比拟的。
技术上坚持中立、开放原则
在美国，亚马逊AWS、微软Azure、谷歌云是云服务巨头，他们竞争力强，平台生态完善，基础设施规模庞大，客户资源丰富，而Snowflake打通这些公有云平台，提供中立性、按需付费的服务，在数据迁移与共享等方面，为客户提供更大灵活性。坚持数据共享开放原则，将数据提供商、合作伙伴和客户联合起来，采用平台的客户越多，就可以与其他客户、合作伙伴和数据提供商交换更多的数据，提升平台对所有用户的价值。
在国内，有没有类似Snowflake的公司呢，实际上在国内类似产品更多被称为数据中台，而且2019年是国内数据中台的元年，近期我们发现国内有家面向数字化转型落地的公司成立7年以来一直在打造数据中台产品，这家公司叫国云数据。最近国云数据创始人马晓东接受了亿欧网等媒体的采访并对标其数据中台为中国版的Snowflake。国云数据提供的数据中台在技术方面与Snowflake很类似。
该数据中台源于阿里顶级技术架构，但却不与任何云平台、数据工具或者是数据库进行绑定，而且可兼容对接客户自有的业务系统，无需推倒重来，从而节省企业成本，提高业务运营效率。数据中台支持基于中台向上做应用的二次开发，实现技术、业务、管理等人员联动使用的同时又保障了客户的使用安全、数据安全。此外，国云数据与Snowflake一样，在数据中台规划之初就运用云原生技术，存算分离，读写分离技术，历经7年优化升级，已经做到极致。
随着企业数字化转型加剧，在国内的与Snowflake类似的数据中台产品层出不穷，数据中台已成为热门赛道，未来市场容量在千亿级，我们也期待着中国的Snowflake早日迎来敲钟之日。