大数据项目1之大CSV文件切割

0.实验环境

  1. 待切割CSV文件大小:1.5G(字段有中文有英文)
  2. 所介绍的两个软件的下载地址:CSVSplitter和CSVed打包下载地址

1.CSVSplitter

本次实验使用的就是这个神器,优势有两个:

  1. 可以转换CSV里面的中文字段(转换之后的中文编码为GBK)
  2. 可以切割1.5G的大CSV文件

将1.5G的csv文件切割之后使用pandas的read_csv方法顺利导入,然后怒插到mysql中。

2.CSVed

这个神器本次没有用,但是看起来很厉害,如果下回有机会可以尝试一下。

    原文作者:MrZONT
    原文地址: https://segmentfault.com/a/1190000002693009
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞