reading Foundations for Analysis with Python

foundationsForAnalyWithPyBookCover.png

这篇笔记主要讲csv文件的读取和写入，还有读取后对数据进行的处理。在上一篇笔记里，用两段代码作为例子简单说明了文本文件的读写，回顾请戳Python数据分析基础ReadingDay2_容器，csv也是一种文本文件，《Python数据分析基础》中说：

CSV（comma-separated value，逗号分隔值）文件格式是一种非常简单的数据存储与分享 方式。CSV 文件将数据表格存储为纯文本，表格（或电子表格）中的每个单元格都是一个 数值或字符串。

具体关于csv的介绍可以参考百科。

程序处理的一般为内存中的数据，这样程序运行完之后数据就消失了，因此一般对于重要的数据会将其保存为文件等物理格式。文件的读写对于数据分析是非常重要的，《Python数据分析基础》的第二章通过一些具体的代码讲了csv文件的读写，整体思路为：普通方式读写csv文件、用csv库读写、用pandas库读写、读写数据进入内存后的数据筛选和统计量计算。本篇笔记沿用这个思路。

目录

• 普通方式读写csv
• 用csv库读写
• pandas库读写
• 读入后的数据处理

普通方式读写

读写文件的整体流程是：打开文件–>按行读入数据–>全部或部分保存到容器中–>关闭文件–>对内存中的数据进行分析。为了表述和调用的方便，下面的演示代码多打包为函数。 本篇笔记使用的数据可以在《Python数据分析基础》GitHub获得。主要用到的csv文件名为：supplier_data.csv

在Excel 2016中打开和Notepad++中打开效果分别为：

supplier_data_pic.png

#普通方式读取supplier_data.csv 并写入一个叫 s_csv_data.csv的文件
def generalWayRcsv(in_fname,out_fname):
    #传入的参数分别为输入的文件路径，输出文件路径
    with open(in_fname,'r',encoding='UTF-8') as freader:  #读入
        with open(out_fname,'w') as fwriter:
            header = freader.readline() #读取首行
            header = header.strip() 
            header_list = header.split(',') 
            print(header_list) 
            fwriter.write(','.join(map(str,header_list))+'\n') 
            for row in freader: 
                row = row.strip() 
                row_list = row.split(',') 
                print(row_list) 
                fwriter.write(','.join(map(str,row_list))+'\n')
    print('end')
in_f="supplier_data.csv"
out_f="s_csv_data.csv"
generalWayRcsv(in_f,out_f) #如果报错注意路径或文件编码问题

out:

['Supplier Name', 'Invoice Number', 'Part Number', 'Cost', 'Purchase Date']
['Supplier X', '001-1001', '2341', '$500.00', '1/20/14']
['Supplier X', '001-1001', '2341', '$500.00', '1/20/14']
['Supplier X', '001-1001', '5467', '$750.00', '1/20/14']
['Supplier X', '001-1001', '5467', '$750.00', '1/20/14']
['Supplier Y', '50-9501', '7009', '$250.00', '1/30/14']
['Supplier Y', '50-9501', '7009', '$250.00', '1/30/14']
['Supplier Y', '50-9505', '6650', '$125.00', '2/3/14']
['Supplier Y', '50-9505', '6650', '$125.00', '2/3/14']
['Supplier Z', '920-4803', '3321', '$615.00', '2/3/14']
['Supplier Z', '920-4804', '3321', '$615.00', '2/10/14']
['Supplier Z', '920-4805', '3321', '$615.00', '2/17/14']
['Supplier Z', '920-4806', '3321', '$615.00', '2/24/14']
end

从以上代码可以看出读取csv的流程为：打开文件–>按行读入数据并按逗号切分字符串为列表(–>写入数据)

用csv库读写

csv是一个内置的Python库，通过 import csv引用。它可以很好地处理csv文件。

import csv
def csvLibRWdata(in_fname,out_fname):
    with open(in_fname, 'r', newline='') as csv_in_file: 
        with open(out_fname, 'w', newline='') as csv_out_file: 
            filereader = csv.reader(csv_in_file, delimiter=',') 
            filewriter = csv.writer(csv_out_file, delimiter=',') 
            for row_list in filereader:
                print(row_list)
                filewriter.writerow(row_list)
                
in_f="supplier_data.csv"
out_f="s_csv_data.csv"
csvLibRWdata(in_f,out_f)

out:

['Supplier Name', 'Invoice Number', 'Part Number', 'Cost', 'Purchase Date']
['Supplier X', '001-1001', '2341', '$500.00', '1/20/14']
['Supplier X', '001-1001', '2341', '$500.00', '1/20/14']
['Supplier X', '001-1001', '5467', '$750.00', '1/20/14']
['Supplier X', '001-1001', '5467', '$750.00', '1/20/14']
['Supplier Y', '50-9501', '7009', '$250.00', '1/30/14']
['Supplier Y', '50-9501', '7009', '$250.00', '1/30/14']
['Supplier Y', '50-9505', '6650', '$125.00', '2/3/14']
['Supplier Y', '50-9505', '6650', '$125.00', '2/3/14']
['Supplier Z', '920-4803', '3321', '$615.00', '2/3/14']
['Supplier Z', '920-4804', '3321', '$615.00', '2/10/14']
['Supplier Z', '920-4805', '3321', '$615.00', '2/17/14']
['Supplier Z', '920-4806', '3321', '$615.00', '2/24/14']

从以上代码可以看出，csv库可以简化很多语句，简化整体代码，通过csv.reader进行读取，并且可以指定分隔符的样式，就算是用空格隔开的文本文件（有些csv或txt文件用这种方式保存数据）可以通过改变csv.reader的参数来读文件，方便了很多。

pandas库读写

pandas是数据分析经常接触到的库，pandas和numpy、matplotlib是Python数据分析工具的三驾马车。功能很强大，Anaconda集成环境是包含了这三个库的，如果需要自己安装可以参考安装并使用python pandas 百度经验 等教程。Python3环境下有pip可以一条命令行安装需要的第三方库的，本处不展开。

import pandas as pd
def pandasLibRWdata(in_fname,out_fname):
    data=pd.read_csv(in_fname)
    data_column_by_name = data.loc[:, ['Invoice Number', 'Purchase Date']] 
    print(data)
    data_column_by_name.to_csv(out_fname, index=False)
    
in_f="supplier_data.csv"
out_f="s_csv_data.csv"
pandasLibRWdata(in_f,out_f)

out

   Supplier Name Invoice Number  Part Number     Cost Purchase Date
0     Supplier X       001-1001         2341  $500.00       1/20/14
1     Supplier X       001-1001         2341  $500.00       1/20/14
2     Supplier X       001-1001         5467  $750.00       1/20/14
3     Supplier X       001-1001         5467  $750.00       1/20/14
4     Supplier Y        50-9501         7009  $250.00       1/30/14
5     Supplier Y        50-9501         7009  $250.00       1/30/14
6     Supplier Y        50-9505         6650  $125.00        2/3/14
7     Supplier Y        50-9505         6650  $125.00        2/3/14
8     Supplier Z       920-4803         3321  $615.00        2/3/14
9     Supplier Z       920-4804         3321  $615.00       2/10/14
10    Supplier Z       920-4805         3321  $615.00       2/17/14
11    Supplier Z       920-4806         3321  $615.00       2/24/14

从上面的代码来看，pandas作业一个数据分析库，实现csv饿读写也是很简洁的，data是一个dataframe（可以翻译作数据框）数据结构。pandas库通过read_csv(in_fname)进行csv文件读取，to_csv()可以将一个dataframe数据写入到csv，很方便。
可以看到csv库读取出来的数据都是字符串格式，而pandas库读出来的数据会自动进行数据类型的判断，这样数字可以直接处理，因此下面读入后的数据处理还是以pandas作为例子，学习数据分析用好pandas很重要。

读入后的数据处理

得到的数据一般保存到列表(上一篇笔记有较详细的讲解)或者dataframe里，就可以用if进行相关筛选或者进行平均数、众数、方差等的计算了，当然对于文本数据不能计算这些，需要根据csv中具体的数据类型编写合适的代码。

#将上面的代码扩展为读取和处理
import pandas as pd
def pandasLibPredata(in_fname):
    data=pd.read_csv(in_fname) #读入数据
    p_sum=sum(data['Part Number'])
    p_mean=data['Part Number'].mean()
    print(p_sum)
    print(p_mean)
    
in_f="supplier_data.csv"
pandasLibPredata(in_f)

#输出：
56218
4684.833333333333

下一篇笔记会讲解Excel文件的读写和读入数据后的处理，仍然用到 pandas 库，并且还会用到 xlrd 和 xlwt 两个库。本笔记的GitHub同步项目在readingForDS。要熟练文件读写需要多练习，有任何建议欢迎联系本人。