Elastic Search - 它是否适合分析团队的DB？

Posted 2021-04-29

我是一个分析团队的成员，该团队最近将其数据仓库转移到Elastic Search中。DW是通过Dremio访问的。

然而，我对Elastic Search是否适合一个分析团队的日常分析工作有了新的想法。我更希望我们将DW保存在BigQuerySnowflakeRedshift中，并使用 "dbt "工具来转换数据并将其写回DB中。

我找不到一个类似 "dbt "的工具来执行从Elastic Search读取后的快速数据转换，而Dremio也不是一个足够成熟的工具。我想征求您对Elastic Search的看法，以及是否是一个适合日常分析的DB。

我很感谢您的回复。

编辑：我在一家在线零售商工作。我们的数据不是任何意义上的 "大数据"。在每天几千份订单的顺序。我们的大部分工作是回应各个团队部门的询问。其中有些问题已经超出了简单的查询范围。我们必须建立定制化的数据集市，中间涉及多个步骤。因此，我们需要一个工具，让我们能够快速转换数据，并将结果集放到数据库中。有一个这样的工具是 "dbt"，但它不支持弹性搜索。所以问题是，是否有合适的工具来完成这项工作，或者Elastic Search不适合我们的用例。

答案

考虑到

我们的数据不是任何意义上的 "大数据"。

很可能ElasticSearch不是合适的选择。使用ES的唯一理由是大量的类似搜索的查询，并对文本类型字段进行 "包含 "过滤，而且只有当数据集太大，SQL兼容的DB无法快速处理这些查询时才会使用。

看起来PostgreSQL可以完成这项工作。如果你正在寻找用于快速OLAP查询（聚合）的列式DB，你可以查看开源的ClickHouse。

最后，Dremio并不是唯一能与ElasticSearch（或PostgreSQL、ClickHouse等）合作的BI工具。一些BI工具允许你使用 "无痛 "脚本进行维度测量，你可以直接在ES查询中计算很多东西。