针对缓存在Redis中的聊天消息的持久化方案分析

Posted 2020-10-25 RIDOX

选型依据

数据库的选型主要考虑一下几个方面：

• 数据库本身是否收费
• 数据库后期维护成本
• 是否支持水平及垂直扩展，及扩展的容易程度
• 业务数据本身特性
• 使用此数据库的开发成本

由于此数据库主要用来存储缓存在redis中的用户发送的消息，对用户发送的消息进行持久化，主要用作以后的分析与查找，本身业务价值不大。redis数据的存储方式为 key-value。本来通过对常用的关系型数据库与非关系型数据库进行对比分析，选择适合本业务需求的最佳数据库。

关系型数据库

对关系型数据库的分析主要分析SqlServer 、Oracle、mysql

Sql Server

SQLServer只能在windows上运行，所以不做考虑。

Oracle

优点

1. 引入了共享SQL和多线索服务器体系结构。这减少了ORACLE的资源占用，并增强了ORACLE的能力，使之在低档软硬件平台上用较少的资源就可以支持更多的用户
2. 提供了基于角色(ROLE)分工的安全保密管理。在数据库管理功能、完整性检查、安全性、一致性方面都有良好的表现。
3. 支持大量多媒体数据，如二进制图形、声音、动画以及多维数据结构等。
4. 提供了新的分布式数据库能力。可通过网络较方便地读写远端数据库里的数据，并有对称复制的技术。

缺点

1. 费用较高
2. 管理维护成本高
3. 对硬件的要求很高
4. 对管理员经验、经验要求很高
5. 数据库崩溃后恢复比较困难

MySql

优点

1. Mysql是免费开源的
2. Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统
3. MySQL不仅能够作为一个单独的应用程序应用在客户端服务器网络环境中，也能作为一个库而嵌入到其他的软件中
4. 支持多线程，使CPU资源得到充分利用
5. 支持特大型的数据库。
6. 使用C和C++编程语言编写，且可以使用多种编译器进行测试，保证源代码的可移植性，安装简单小巧
7. 提供用于管理、检查、优化数据库操作的管理工具

缺点

1. MySQL在稳定性和集群方面存在一些问题。除非使用收费版本
   
2. 完全免费的MySQL安装集群式非常困难的。
3. 当表数据非常大时，修改表数据结构会锁定整个表结构

非关系型数据库

由于chat的业务需求为持久化缓存在resis中的用户交互信息。因此详细介绍面向文档的数据库 MongoDB,MongoDB中的文档类似于JSON对象。

什么是MongoDB

MongoDB是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB将数据存储为一个文档，数据结构有键值(key=>value)对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档，数组及文档数组。

MongoDB的功能

1. MongoDB可以实现范围查询、数据集包含查询、不等式查询，以及其他一些查询。
2. 可以通过MongoDB对数据进行分析并加以利用，MongoDB提供的聚合工具有：聚合框架、MapReduce、及几个简单的聚合命令：count、distinct和group
3. 副本集 （将数据副本保存到多台服务器上）
4. 自动分片（类似于关系型数据库的分表）
5. MongoDB除支持MySQL的常用索引外，还支持TTL索引
6. 自动清除：MongoDB还提供了受限集合，当受限集合到达上限时，旧文档会被自动清除。如果想让基于时间而不是整个集合的大小，可以用TTL索引
7. 内置GridFS ,支持大容量存储（GridFS是一个出色的分布式文件系统，可以支持海量的数据存储）

MongoDB 的优势

1. 写入高性能：存储引擎使用的内存映射文件（MMAP的方式），将内存管理工作交给操作系统去处理。MMAP的机制，数据的操作写内存即是写磁盘，在保证数据一致性的前提下，提供了较高的性能。
2. 易于扩展：MongoDB支持自动分片（分片就是讲数据拆分，将其分散存放在不同机器上的过程）。MongoDB自动处理数据在分片上的分布，也更容易添加和删除分片。
3. 对非事务安全，MongoDB很适合业务系统中有大量“低价值”数据的场景
4. 无模式（不像关系型数据库，先定义表结构）

不适合使用MongoDB的场景

1. MongoDB不支持事务，对事务性有要求的应用程序不建议使用MongoDB
2. 在多个不同纬度上对不同类型的数据进行关联，这是关系型数据库最擅长的事情。

MongoDB 成功应用场景（举例如下）

1. MongoDB在58同城百亿量级数据下的应用实践
2. Telefonica(西班牙电信公司) 如何使用MongoDB 帮助数字化业务高速增长。
3. eHarmony使用MongoDB技术将匹配算法缩短到95%
4. SAP SAP Lumira
   参考文档：
   https://www.mongodb.com/use-cases
   https://docs.mongodb.com/?_ga=2.2211824.1331207551.1498467881-1886999231.1498467881
   http://www.infoq.com/cn/articles/app-practice-of-mongodb-in-58-ten-billion-scale-data

结论

通过以上的对比分析，我们在MySql 和 MongoDB中选择适合我们的数据库。

数据库类型	是否收费	集群搭建	数据存储	业务关联	是否支持事务
MySql	免费开源	免费开源搭建集群非常困难，MySql集群收费	以行、列形式存储	支持多表关联	支持事务
MongoDB	免费开源	集群搭建非常容易，并自持自动分片	以类似于JSON的形式存储，非常适合web开发	不支持表关联	不支持事务

业务场景数据

• redis 中的缓存数据，key-value,转换成 json格式的文本非常容易。因此选择MongoDB
• redis 中缓存的用户消息，是 非事务型数据。因此选择 MongoDB
• redis 中的数据本身是NoSql ,因此也 不支持关联查询。因此 选择 MongoDB
• 由于要持久化redis中的用户消息数据，数据量比较大，写频繁。因为 MongoDB的底层实现采用内存映射机制，因此非常适合大并发量的写。
• 由于用户的消息量非常大，因此要很方便的支持水平扩展。MongoDB的对水平扩展的支持非常好，并且支持自动分片。因此选择MongoDB

通过以上分析：选择MongoDB作为chat消息的持久化