Impala 查询以随机顺序返回数据

Posted 2023-03-22

【中文标题】Impala 查询以随机顺序返回数据

【英文标题】：Impala query returns data in random order

【发布时间】：2021-08-17 07:55:47

【问题描述】：

我希望我对表的 select * 查询以与数据库中存在的顺序相同的顺序返回。但是，它以随机顺序返回数据。在 Hive 中执行相同的查询时，我以正确的顺序获取数据集。有没有一种方法可以让 impala 以与 DB 中相同的顺序返回结果集？

【问题讨论】：

一种奇怪的请求。你为什么需要它 ？表现 ？ DB可以按任何顺序、时间存储和检索数据。所以根据那个顺序可以是任何东西。除非您使用某些字段来订购，否则它不能保证。所以，我不确定 hive 是如何返回预期数据的，但如果更新/删除/更改表结构之类的东西，我觉得它会改变。

我没有用于排序数据的密钥。我只是最终数据的消费者。我知道数据库内的存储是以预期和正确的格式进行的。另外，我需要它以相同的方式构建层次结构的确切顺序

***.com/a/56679664/2700344

【参考方案1】：

如果没有ORDER BY，查询返回的行顺序未定义。由于并行和分布式执行，每次运行返回的顺序可能会有所不同，有些进程可以执行得更快，有些进程可以在队列中等待，它们都会相互独立地发出数据。

同样根据经典的 Codd 关系理论，表中的行顺序和列顺序对数据库来说并不重要。您可以在插入表的过程中对数据进行排序，排序后的数据将被更好地压缩，内部索引和布隆过滤器会更好地工作，但是如果没有ORDER BY，则无法保证返回数据集中的行顺序。 Hive 也是一样的，在某些情况下，只有一个 mapper 已经启动并且没有 reducer，数据会按照数据文件中的顺序返回，但是不要依赖它，如果需要排序，添加 ORDER BY .

只有单线程处理才能以相同的顺序返回数据，但这会降低性能。更好地重新设计您的数据流并添加一些排序列，以便能够在分布式环境中选择期间对行进行排序。