雪花查询缓慢

Posted

技术标签:

【中文标题】雪花查询缓慢【英文标题】:Snowflake query slowness 【发布时间】:2020-08-24 13:32:19 【问题描述】:

在使用 OS Windows 2016 + pycharm 环境从雪花(选择语句)查询数据时,是否有人观察到速度很慢。 使用相同环境的 windows 10 操作系统快速获得结果。

使用wireshark 检查网络性能时,与window 2016 相比,windows 10 的往返时间更长。

其他区别是窗口 10 位于物理本地系统上,而 Windows 2016 是 AWS 中的工作区。

任何人都经历过与上述类似设置的缓慢。

任何进一步排除故障的建议。

【问题讨论】:

查看雪花历史以获取更多详细信息并从那里开始。 【参考方案1】:

您认为 Snowflake 的查询执行速度慢吗? 您是否通过保持其他条件(如仓库大小、仓库负载)相同来比较查询执行时间?

如果网络数据传输速度缓慢,可能是由于 AWS 区域等原因,更不用说可能影响网络数据传输速度的其他几个因素。 Snowflake 的查询执行性能不应因您的位置或操作系统等而受到影响。

【讨论】:

【参考方案2】:

Snowflake 作为云上的 SaaS 运行。在 Ragesh 的案例中,我认为它在 AWS 上运行。因此,从雪花的查询性能角度来看,理想情况下,无论您是从 Windows 2010 还是 2016 启动连接都无关紧要。但网络带宽可能是需要考虑的一个因素。您的本地带宽可能不如您在 AWS 上的带宽。要确定这一点。你能做这个测试吗?

使用 Windows 10 运行您的查询 - 在运行查询之前,请设置一个查询标记,如

ALTER SESSION SET QUERY_TAG ='ONPREMISE';

使用 Windows 16 运行您的查询 - 在运行查询之前,请设置一个查询标记,如

ALTER SESSION SET QUERY_TAG ='ONAWS';

之后,转到 Snwoflake 控制台历史视图并根据 query_tag 进行过滤,并共享两个场景的查询配置文件详细信息

【讨论】:

以上是关于雪花查询缓慢的主要内容,如果未能解决你的问题,请参考以下文章

如何将排队的查询移动到单独的雪花仓库?

雪花警报长时间运行的查询

雪花查询配置文件接口

如何将查询结果从雪花直接上传到 S3?

替换雪花中的子查询

查询雪花中数组的子集