导入各格式数据

csv/excel/json

import pandas
df = pandas.read_csv/excel/json('filepath')

xml

import xml.etree.ElementTree as ET
tree = ET.parse('**.xml')
root = tree.getroot()
for i in root.iter('key'):
  ....

创建dataframe

import pandas as pd
df = pd.DataFrame([[1,2,3],[2,3,4],[3,4,5]])

给dataframe增加行列名

df.columns = ['col1','col2','col3']
df.index = ['line1','line2','line3']

dataframe 筛选

1、筛选行

df.ix[0]  #根据行数筛选
df.ix['line1']  #根据行名称筛选
df.ix[0:2]  #根据行数切片
df.ix['line1':'line2'] #根据行名称切片
df.ix[['line1','line2']] #根据行名称选择多行

df.ix,df.loc,df.iloc
2、筛选列

df['col1']  #根据列名称筛选
df[['col1','col3']] #根据列名称筛选
df.col1 #根据列名称筛选

3、切片

df.ix[0:2,['col1','col2']]  #根据行列名称切片

4、条件筛选

df[df['col1'] == 3]   #根据条件筛选
df[(df['col1] ==3) &(df['col2'] == 4)] #多条件and查询
df[(df['col1] ==3) |(df['col2'] == 4)] #多条件or查询

dataframe 修改

1、新增列

df['col4'] = 5

2、删除列

del df['col4'] 
df = df.drop('col4',axis=1) #第二个参数axis，0：删除行，1：删除列，默认=0

3、新增行

df.loc['line4'] ={'col1':1,'col2':5,'col3':4,'col4':2}
df.append(pd.DataFrame([{'col1':1,'col2':5,'col3':4,'col4':2}]))

4、删除行

df = df.drop('line4') 

dataframe 增加索引

df.set_index('col4',inplace = True)

处理缺失值

1、检查缺失值

df.isnull()
df['name'].isnull() #检查缺失值
df['name'].notnull() #检查非缺失值
df['name'].isnull().values.any()#指定列是否存在缺失值
df.isnull().any() #各个列是否存在缺失值
df.isnull().values.any() #整个dataframe事发后存在缺失值
df['name'].isnull().sum() #指定列有多少缺失值
df.isnull().sum().sum() #整个dataframe有多少缺失值

2、处理缺失值

2.1 舍弃缺失值

df.dropna() #舍弃含有任意缺失值的行
df.dropna(axis=1)#舍弃含有任意缺失值的列
df.dropna(how = 'all') #舍弃所有字段都有缺失值的行
df.dropna(thresh = 2) #舍弃超过两栏缺失值的行

2.2 补齐缺失值

df.fillna(0) # 用0填补
df['age'].fillna(df['age'].mean()) # 用平均值填补缺失值
df['age'].fillna(df.groupby('gender')['age'].transform('mean'),inplace=True) #根据各性别平均年龄填补缺失值
df.fillna(method='pad') #向后填补缺失值（pad或者ffill)
df.fillna(method='bfill',limit=2)    #向前填补缺失值(bfill或者backfill)
df.interpolate() #内插法填补缺失值

数据重塑

df.info()查看dataframe基本信息
1、map函数

df['name'].map(lambda e:e.upper()) #map将函数应用于1列

2、apply函数

df['age'].apple(lambda e:e.max()-e.min(),axis=1) #将函数应用到行或列 axis=0为列，axis=1为行

3、applymap函数

df.applymap(lambda e:np.nan if e != '' else e) #将函数应用到整个dataframe

4、时间转换

df['日期']=pandas.to_datetime(df['日期'],format = '%Y年%m月%d日') #将dataframe中日期数据改成datetime格式

5、生成虚拟变量

pandas.get_dummies(df['性别']) #根据性别信息自动生成变量，比如男=0，女=1
df = pandas.concat([df,pandas.get_dummies(df['性别'])],axis=1) #concat合并dataframe，axis=1表示按列合并

6、生成透视表

df2=df.pivot_table(index='col1',columns='col2',values='col3',aggfunc='mean',fill_value = 0)  
#生成以col1为行,col2为列，值是col3的平均值的数据透视表，fill_value填充dataframe中NAN值
df2.T #透视表转置
df3=df.pivot_table(index=['col1','col4'],columns='col2',values='col3',aggfunc='mean',fill_value = 0)  
#生成以col1,col4的组合为行,col2为列，值是col3的平均值的数据透视表，fill_value填充dataframe中NAN值
df3.unstack() #生成长表格

7、应用正则

df['a','b'] = df['c'].str.extract('(.*?)@(.*?)',expand = False)

数据导出

df.to_excel('1.xlsx')  #导出到excel，还可以导出到很多格式