雪花查询缓慢
Posted
技术标签:
【中文标题】雪花查询缓慢【英文标题】:Snowflake query slowness 【发布时间】:2020-08-24 13:32:19 【问题描述】:在使用 OS Windows 2016 + pycharm 环境从雪花(选择语句)查询数据时,是否有人观察到速度很慢。 使用相同环境的 windows 10 操作系统快速获得结果。
使用wireshark 检查网络性能时,与window 2016 相比,windows 10 的往返时间更长。
其他区别是窗口 10 位于物理本地系统上,而 Windows 2016 是 AWS 中的工作区。
任何人都经历过与上述类似设置的缓慢。
任何进一步排除故障的建议。
【问题讨论】:
查看雪花历史以获取更多详细信息并从那里开始。 【参考方案1】:您认为 Snowflake 的查询执行速度慢吗? 您是否通过保持其他条件(如仓库大小、仓库负载)相同来比较查询执行时间?
如果网络数据传输速度缓慢,可能是由于 AWS 区域等原因,更不用说可能影响网络数据传输速度的其他几个因素。 Snowflake 的查询执行性能不应因您的位置或操作系统等而受到影响。
【讨论】:
【参考方案2】:Snowflake 作为云上的 SaaS 运行。在 Ragesh 的案例中,我认为它在 AWS 上运行。因此,从雪花的查询性能角度来看,理想情况下,无论您是从 Windows 2010 还是 2016 启动连接都无关紧要。但网络带宽可能是需要考虑的一个因素。您的本地带宽可能不如您在 AWS 上的带宽。要确定这一点。你能做这个测试吗?
使用 Windows 10 运行您的查询 - 在运行查询之前,请设置一个查询标记,如
ALTER SESSION SET QUERY_TAG ='ONPREMISE';
使用 Windows 16 运行您的查询 - 在运行查询之前,请设置一个查询标记,如
ALTER SESSION SET QUERY_TAG ='ONAWS';
之后,转到 Snwoflake 控制台历史视图并根据 query_tag 进行过滤,并共享两个场景的查询配置文件详细信息
【讨论】:
以上是关于雪花查询缓慢的主要内容,如果未能解决你的问题,请参考以下文章