「数据库选型」卫报从MongoDB迁移到Amazon RDS上的PostgreSQL

Posted 2021-04-29 首席架构师智库

《卫报》于2018年将其CMS的数据存储区从自我管理的MongoDB集群迁移到Amazon RDS上的PostgreSQL，以提供完全托管的解决方案。该团队进行了基于API的迁移，没有停机时间。

Guardian内部的CMS（称为Composer）用于存储文章，博客内容，照片库和视频，最初是在MongoDB上作为数据存储库构建的。在此之前是由Oracle数据库支持的供应商软件。每当必须迁移架构时，此设置都会停机。作为替代方案，该团队研究了各种NoSQL数据库，选择MongoDB的主要原因之一似乎是灵活性。他们最初托管在自己的数据中心，在中断后将MongoDB移至其AWS服务器。安装和管理脚本必须由Guardian的团队手写。他们选择了一份支持合同，并购买了OpsManager工具，该工具是用于管理MongoDB的前端应用程序。但是，由于不清楚的原因，该团队没有选择MongoDB的Atlas产品（这是一个“完全托管的数据库”）。OpsManager不管理部署。

迁移到AWS后，该团队面临两次MongoDB中断。其中一些原因是基本的系统管理问题，例如不允许NTP访问时间服务器以保持时钟同步。根据文章，其他问题涉及管理OpsManager本身以及难以获得供应商及时支持的困难。团队认为，迁移到数据库管理最少的解决方案最适合他们。

由于PostgreSQL的成熟性和对jsonb数据类型的支持，该团队选择PostgreSQL作为Amazon RDS上的托管数据库。jsonb类型允许对JSON对象中的字段进行索引。迁移计划是在Postgres上编写一个新的API，并使用一个代理将向两个API发送流量，以使它们保持同步以接收新的传入数据。现有数据将使用API进行迁移，然后代理将切换到新的API。他们以前从Oracle迁移的过程也使用类似的方法。迁移脚本日志已推送到Elasticsearch，以便可以跟踪迁移。在此过程中，他们还改善了结构化日志记录。

代理将所有流量实时定向到MongoDB API，并异步定向到Postgres API。记录并分析响应中的任何差异。为了确保新的API和后端可以容纳生产流量，运行了GoReplay流程以生成流量。GoReplay可以捕获流量并针对不同的环境（在这种情况下为预生产环境）重播。在预生产环境中完成了完整的迁移。生产迁移的最后一步是将DNS名称从代理的端点（Amazon ELB）切换到Postgres API（另一个ELB）。这使他们的客户可以正常运行。迁移后，由于尚未将其迁移到新的API，因此它们的集成测试失败。

原文：https://www.infoq.com/news/2019/01/guardian-mongodb-postgresql/

本文：http://jiagoushi.pro/guardians-migration-mongodb-postgresql-amazon-rds

讨论：请加入知识星球或者微信圈子【首席架构师圈】

如果喜欢仙翁的分享，请关注微信公众号【首席架构师智库】

仙翁小号

如果想进一步讨论，请加仙翁小号【intelligenttimes】，注明你希望加入的群：架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化，产品转型。

微信圈子

如果想和志趣相投的同好交流，请关注仙翁的微信圈子【首席架构师圈】。

如果想向大咖提问，近距离接触，或者获得私密分享，请加入知识星球【首席架构师圈】