【试验】用PowerQuery处理SQL数据库的2000万行数据失败

Posted 2023-02-22

参考技术A 最近无意中得到一个有2000万行记录的数据，我将其折腾到SQL Server中，然后用PowerQuery来分析。

首先，将所有列导入PowerQuery来处理，是不现实的：建立步骤都OK，但是步骤运行失败——提示内存不足，进而计算机黑屏，按任何按键都没用，只能重启。我是Q2760的CPU和16G的内存。单单启动SQL Server就占去了差不多7G内存。

其次，尝试在PowerQuery建立数据源的时候，就用SQL查询语句提取出两列，然后对这两列进行分组计数，结果还是提示内存不足，计算机无响应黑屏，只能重启。

尝试在SQL Server 中选取两列并截取其中包含日期和时间的列，运算失败，提示内存不足。

尝试在SQL Server中提取出小时并对记录按原始的时间列分组，得到700多万行数据。（目前我正在自学SQL Server，尝试用提取出来的小时分组时报错，不知原因；只好用原始的时间列分组）。将查询结果导出为csv文件（还不会将查询结果添加到SQL Server中的新表），用PowerQuery分析这700多万行数据，得出24小时内每个小时区间的记录数，成功。