需求:
从多个子表中,提取相关性信息,合并
思路:
使用pandas读取sql server 表内容,将需要的列修改为对应列名(例:子表a中id列对应子表b中的a_id,则将读取出来后的数据表b,列a_id => id,假设性举例,实际操作不同。)
环境:
ipython notebook、python2.7、pandas、pymssql、numpy
import pandas as pd
import numpy as np
import pymssql
conn = pymssql.connect(host='*.*.*.*', user='*', password='*', database='*', charset='utf8')
df = pd.read_sql("select * from table_name", con=conn)
pandas
修改列名方法:
# 使用columns修改
df.columns = ['a', 'b', 'c', 'd'] # 强制修改,不推荐
df.columns = df.columns.str.strip('*') #将列名中的指定文本替换
df.columns = df.columns.map(lambda x: x[1::]) #使用lambda函数截取列名[1::]
# 使用rename修改
df.rename(columns={'a': '*a', 'b': '*b', 'c': '*c', 'd': '*d'})
#直接根据原列名做修改,可以针对某一列进行单独修改
df.rename(columns=lambda x:''.join([x, '*']), inplace=True)
选取指定列、合并:
df.loc(:,*args) # 根据参数来选择,参数二可以是列名,也可以是多个列名组成的列表
pd.merge(df1,df2) # 取df1,df2交集(列名相同)
pd.merge(df1, df2, how='outer') # 合并
df = pd.merge(df1, df2, how='outer')
df.to_csv(fileName, index=False, encoding='gb2312')
完成。。。
数据已存在数据库,只是简单的read_sql 加上 rename、loc、merge,完成数据筛选,合并,再to_csv(df, index=False, encoding=’gb2312′)