如何处理大数据库?

Posted

技术标签:

【中文标题】如何处理大数据库?【英文标题】:How to handle big database? 【发布时间】:2014-03-09 21:47:22 【问题描述】:

我有一个拥有超过百万用户的数据库,每个用户都存储了大量的数据。

不用说,性能已经下降了。

(每个用户都有自己的网站和 CMS)

如何处理多个用户的数据库?

我提出了将每个用户信息保存为自己的数据库的想法,而不是带有外键的表。

你对这个想法有什么看法?有什么优点和缺点?

我还应该考虑哪些其他方法?

【问题讨论】:

请澄清将每个用户信息保存为自己的数据库 一百万用户几乎算不上“大数据”。您认为“海量数据”到底是什么?几千万甚至几亿行现在都不算大,更不用说“巨大”了 MongoDB 是网络规模的。 “大数据”。当每个用户在他的网站上进行聊天时。每个聊天本身都包含超过 10 万条消息。考虑一个表中的 1 亿行,只是为了显示特定用户的聊天记录。 【参考方案1】:

拥有参考数据的一百万用户不是大数据。

如果性能不好,那么您可能会查看您的 SQL 代码或前端代码。

还可以使用索引来增加查询执行时间。大多数时候索引和代码优化是诀窍。很多其他的东西也起着重要的作用,比如你的 CPU、内存磁盘等。

我会先看一下代码,看看你是否可以优化任何东西,然后如果没有帮助,然后将数据分离到多个数据库中。

即使您这样做,如果数据库托管在同一台服务器上,您可能仍然会遇到性能问题。

祝你好运!

【讨论】:

以上是关于如何处理大数据库?的主要内容,如果未能解决你的问题,请参考以下文章

如何处理大查询错误403:配额超出?

如何处理大 JSON 响应

Pandas中如何处理大数据?

当 Relay 游标分页总是获取整个数据集时,它如何处理大数据集?

chaiscript 如何处理大对象?

如何处理大字符串和有限的内存