【试验】用PowerQuery处理SQL数据库的2000万行数据失败

最近无意中得到一个有2000万行记录的数据,我将其折腾到SQL Server中,然后用PowerQuery来分析。

首先,将所有列导入PowerQuery来处理,是不现实的:建立步骤都OK,但是步骤运行失败——提示内存不足,进而计算机黑屏,按任何按键都没用,只能重启。我是Q2760的CPU和16G的内存。单单启动SQL Server就占去了差不多7G内存。

其次,尝试在PowerQuery建立数据源的时候,就用SQL查询语句提取出两列,然后对这两列进行分组计数,结果还是提示内存不足,计算机无响应黑屏,只能重启。

尝试在SQL Server 中选取两列并截取其中包含日期和时间的列,运算失败,提示内存不足。

尝试在SQL Server中提取出小时并对记录按原始的时间列分组,得到700多万行数据。(目前我正在自学SQL Server,尝试用提取出来的小时分组时报错,不知原因;只好用原始的时间列分组)。将查询结果导出为csv文件(还不会将查询结果添加到SQL Server中的新表),用PowerQuery分析这700多万行数据,得出24小时内每个小时区间的记录数,成功。

    原文作者:PowerQuery
    原文地址: https://www.jianshu.com/p/fc71c1127a52
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞