数据库候选作为 CouchDB/Schema 替代品
Posted
技术标签:
【中文标题】数据库候选作为 CouchDB/Schema 替代品【英文标题】:DB candidate as CouchDB/Schema replacement 【发布时间】:2015-06-08 22:52:31 【问题描述】:这个想法是重新设计数据结构和/或更改数据库。 我刚开始审这个项目,打算从这个开始优化。
目前我有大约 80GB 的文档数据,大约 30M 条记录的 CouchDb。 从该子集中,对于大多数文档属性,如 id、group_id、location、type 可以被认为是通用的,但不幸的是,现在这些属性甚至以不同的属性命名存储在集合周围。也可以找到很多嵌套很深的。
结构几乎没有定义,这就是为什么在看到一些图片之前就选择了 NoSQL db。
数据在强大集群上的单独作业中计算并填充到数据库中。这不经常做。从这个角度来看,我可以得出结论,一般的写入/更新性能并不是很重要。尺寸减小也会很好,但不是最重要的。一次只有 1-10 个活跃客户。 实际上,各种过滤/分组等的读取性能是最重要的。 但是不应该做繁重的汇总计算,这个已经在填充时完成了。
这是一种数据分析工具,用于向质量工程师和数据分析师显示比较报告和其他报告,以便他们浏览结果、对结果进行分组或从 Web UI 进行过滤。
由于性能原因,现在无法执行诸如在文档属性的子集中搜索文本之类的任务。
当然,我已经进行了一些初步调查(例如 http://www.datastax.com/wp-content/themes/datastax-2014-08/files/NoSQL_Benchmarks_EndPoint.pdf),看起来 Cassandra 似乎是 NoSql 中的不错选择。
尝试将这些数据移植到新的 PostgreSQl 中也很有趣。
任何想法都将受到高度赞赏:-)
【问题讨论】:
【参考方案1】:您好,请查看以下文章:
http://www.enterprisedb.com/nosql-for-enterprise
对我来说,PostgreSQL json(和 jsonb!)功能允许从一开始就无模式启动,具有非常好的性能的事务、索引、分组、聚合函数。准备好后(如果需要),您可以使用架构进行内部数据迁移。
还要检查: https://www.compose.io/articles/is-postgresql-your-next-json-database/
祝你好运
【讨论】:
以上是关于数据库候选作为 CouchDB/Schema 替代品的主要内容,如果未能解决你的问题,请参考以下文章