谈谈消息队列

Posted 2022-11-29 三五月儿

有这样一种场景，前端提交数据到后端，后端处理数据并存入缓存，同时将数据推给消息队列，再使用服务程序不断的消费消息队列中的数据进行数据库落地。这样做的好处是可以提高整个系统的响应速度，因为和用户打交道的是缓存。而缓存的数据是要好于数据库的。不过这种设计也存在不少问题，这里就来说说这些问题。传统的”程序-数据库”的交互过程，变成“程序-队列-（服务）程序-数据库”，增加了新的参与者，更多的交互环节，必将增加出错的概率，同时提高了程序处理逻辑的复杂性。开发过程中需要考虑更多的问题，例如：数据库提交失败后，是简单的将错误记录日志？还是需要重新读取队列的数据？如何读？还是将错误记录保存在其他队列，再使用其他线程专门处理出错记录？同时，不同的消息队列产品有不同的实现原理，要求开发人员能够对不同的队列有很好的了解。kafka、rabbitmq。另外，使用消息队列后，需要增加相应的监控模块来保证队列及服务的正常工作，确保队列不会被阻塞，服务不会被挂。还有，使用队列过渡后再入库的业务模型，往往会导致数据库和缓存的数据不一致，需要寻找一个好的办法来确保数据的一致性。有没有这方面好的工具啊。总不会只能人工才确认吧。就说这些了。