在 EC2/Nodejs 后端 Redis/Varnish 中存储元数据和缓存 api 响应数据？

Posted 2023-03-11

【中文标题】在 EC2/Nodejs 后端 Redis/Varnish 中存储元数据和缓存 api 响应数据？

【英文标题】：Storing metadata and Caching api response data in an EC2/Nodejs backend Redis/Varnish?

【发布时间】：2015-06-18 05:38:15

【问题描述】：

我正在编写一个nodejs后端，它将根据类别发出一系列http请求，聚合结果，并将结果返回给移动客户端。

例如，以下元数据需要保存在数据存储中

key: category1
value: 
  name: 'Cat 1 Name',
  requestUrls: [
    name: 'Request url 1', url: 'http://reqfoo1/',
    name: 'Request url 2', url: 'http://reqfoo2/',
    name: 'Request url 3', url: 'http://reqfoo3/',
    name: 'Request url 4', url: 'http://reqfoo4/',
    ....
    name: 'Request url 50', url: 'http://reqfoo50/'
  ]


key: category2
value: 
  name: 'Cat 2 Name',
  requestUrls: [
    name: 'Request url 1', url: 'http://reqbar1/',
    name: 'Request url 2', url: 'http://reqbar2/',
    name: 'Request url 3', url: 'http://reqbar3/',
    name: 'Request url 4', url: 'http://reqbar4/',
    ....
    name: 'Request url 50', url: 'http://reqbar50/'
  ]

由于任何类别都不会共享相同的 url，因此将其存储在键/值数据存储中可能是有意义的，这样我就可以快速访问要调用的 url。将有大约 1500 个类别，每个类别都有大约 30-50 个 URL。

后端服务： API GET getAllDataByCategory(catId) 将

查询元数据，提取特定类别的值

异步迭代requestUrls并对每个URL进行http请求

聚合所有结果并将连接的结果返回给客户端。 （总计约 1000 项）

（注意：由于所有 url 都返回 XML，我还没有决定是否将 JSON 解析为服务器或客户端中的通用模型。我倾向于只从 API 返回聚合的 XML 字符串并在客户端中解析因为解析是一个 CPU 密集型任务，并且会在 node.js 中阻塞

鉴于

元数据（类别数据/网址）每月只会更改两次左右

我不需要将聚合的 http 结果存储在数据存储中，但想缓存它们

http 结果缓存应该在 1 分钟后失效。

我的后端将部署在 Amazon Web Services (EC2) 中

对于 A) 存储元数据，B) 缓存所有 http 请求的结果，有什么好的解决方案？

元数据存储 - 哪个数据存储足以存储类别元数据？我可以只使用 Postgres 存储键/值数据吗？或者我应该使用 mongo 还是 DynamoDB？或者我什至应该使用 Redis 持久性来存储它？

鉴于我将元数据存储在存储中，将元数据缓存在 Redis 中而不是在每次请求时查询数据库以获取元数据会更快吗？请记住，此数据每月只会更改两次。我可以使用 Redis 来缓存和存储元数据吗？

存储聚合 XML（或 JSON，如果我决定在后端解析）的最佳缓存机制是什么？缓存需要每分钟失效一次，我可以将缓存存储在下面的键/值中吗？有人说 Varnish 适合这个用例（虽然我不缓存文件），有人说 Redis/memaced 适合这个用例（更喜欢 Redis 而不是 memcached）

键：category1 值：item1的数据.....item 1000

这基本上是我想要实现的目标

用户在客户端请求类别 1 的数据

客户端向服务器请求 API getAllDataByCategory(cat1)

首先查找 cat1 的缓存聚合响应数据，如果可用且未过期，则将其返回给客户端

如果没有可用的响应数据缓存，则查找 cat1 的元数据（先查找元数据缓存，如果元数据缓存不可用，再查找 DB）

从元数据中调用所有URL，聚合结果，缓存数据，然后返回给客户端

如果每分钟有 500 个客户端请求，则所有请求都使用缓存，除非分钟已过期。

我准备研究我需要做的任何事情，但是如果有人能给我一些方向，或者在类似的情况下哪种技术对他们做得很好，我将不胜感激。请记住，我使用的是 AWS，他们提供 elasticache (Redis/memaced)，所以也许这是要走的路？

谢谢！！

【参考方案1】：

Elasticache/redis 应该足以处理 A）存储元数据和 B）缓存所有 http 请求的结果。亲吻。