最近无意中得到一个有2000万行记录的数据,我将其折腾到SQL Server中,然后用PowerQuery来分析。
首先,将所有列导入PowerQuery来处理,是不现实的:建立步骤都OK,但是步骤运行失败——提示内存不足,进而计算机黑屏,按任何按键都没用,只能重启。我是Q2760的CPU和16G的内存。单单启动SQL Server就占去了差不多7G内存。
其次,尝试在PowerQuery建立数据源的时候,就用SQL查询语句提取出两列,然后对这两列进行分组计数,结果还是提示内存不足,计算机无响应黑屏,只能重启。
尝试在SQL Server 中选取两列并截取其中包含日期和时间的列,运算失败,提示内存不足。
尝试在SQL Server中提取出小时并对记录按原始的时间列分组,得到700多万行数据。(目前我正在自学SQL Server,尝试用提取出来的小时分组时报错,不知原因;只好用原始的时间列分组)。将查询结果导出为csv文件(还不会将查询结果添加到SQL Server中的新表),用PowerQuery分析这700多万行数据,得出24小时内每个小时区间的记录数,成功。