如何增加 SQL 实验室和可视化的超集行限制和超时缓存

Posted 2023-03-22

【中文标题】如何增加 SQL 实验室和可视化的超集行限制和超时缓存

【英文标题】：How to increase superset row limit and timeout cache for SQL Lab and Visualization

【发布时间】：2021-12-31 09:21:04

【问题描述】：

我有一个包含 10 亿行的数据集。数据存储在 Hive 中。此外，我将 Impala 作为 Hive 和 Superset 之间的层。在 Superset 中运行的查询具有最大行数限制。 100.000。我需要在没有行限制的情况下更改它。此外，我需要从 SQL 实验室返回的查询中进行可视化，但由于也存在超时缓存限制，因此无法完成。因此，如果我在 SQL lab 中更改/增加行限制，并在可视化中超时缓存，那么我想应该没有问题。

【问题讨论】：

所以您需要增加superset 或impala 的限制？在 impala 的情况下，如果您尝试使用 hue 访问，您可以为其他连接/工具增加它，可能对行数没有限制。

当我在 impala 中运行任何查询时，都没有问题。但我需要在超集中运行查询以可视化输出。事实上，当使用超集时，它返回的结果只有最大值。 100000 行，但是当我使用 impala 时，相同的查询给了我超过 100000 行。所以，超集并没有给我我需要的全部结果。此外，对于超集中的可视化，还有另一个行限制。它只使用了 1000 行表，如果查询的运行时间超过 60 秒，它也会返回错误。

【参考方案1】：

我正在尽力在下面回答。请在更改之前备份所有配置文件。

对于 SQL 行限制问题 -

修改'anaconda3/lib/python3.7/site-packages'内的config.py文件并设置

DEFAULT_SQLLAB_LIMIT  to 1000000000
QUERY_SEARCH_LIMIT to 1000000000

修改viz.py并设置-

filter_row_limit  to 1000000000

对于超时问题，请增加以下参数值 -

对于同步查询 - 更改 superset_config.py

SUPERSET_WEBSERVER_TIMEOUT 
SQLLAB_TIMEOUT 
SUPERSET_TIMEOUT  --This value should be >=SQLLAB_TIMEOUT

对于异步查询 -

SQLLAB_ASYNC_TIME_LIMIT_SEC 

【讨论】：

感谢您的回复，但我们尝试了您所说的，超集没有任何变化。更改配置文件后，似乎已经进行了更改，我的意思是它显示了 10 亿行限制，但是当我运行查询时，它认为查询历史记录中的行限制为 100000。因此，我们仍然有同样的问题。