pandas x sql server

需求:
从多个子表中,提取相关性信息,合并
思路:
使用pandas读取sql server 表内容,将需要的列修改为对应列名(例:子表a中id列对应子表b中的a_id,则将读取出来后的数据表b,列a_id => id,假设性举例,实际操作不同。)
环境:

ipython notebook、python2.7、pandas、pymssql、numpy

import pandas as pd
import numpy as np
import pymssql

conn = pymssql.connect(host='*.*.*.*', user='*', password='*', database='*', charset='utf8')
df = pd.read_sql("select * from table_name", con=conn)

pandas

修改列名方法:

# 使用columns修改
df.columns = ['a', 'b', 'c', 'd']      # 强制修改,不推荐
df.columns = df.columns.str.strip('*')     #将列名中的指定文本替换
df.columns = df.columns.map(lambda x: x[1::])    #使用lambda函数截取列名[1::]
# 使用rename修改
df.rename(columns={'a': '*a', 'b': '*b', 'c': '*c', 'd': '*d'})    
#直接根据原列名做修改,可以针对某一列进行单独修改
df.rename(columns=lambda x:''.join([x, '*']), inplace=True) 

选取指定列、合并:

df.loc(:,*args)  # 根据参数来选择,参数二可以是列名,也可以是多个列名组成的列表
pd.merge(df1,df2)  # 取df1,df2交集(列名相同)
pd.merge(df1, df2, how='outer') # 合并
df = pd.merge(df1, df2, how='outer')
df.to_csv(fileName, index=False, encoding='gb2312')

完成。。。

数据已存在数据库,只是简单的read_sql 加上 rename、loc、merge,完成数据筛选,合并,再to_csv(df, index=False, encoding=’gb2312′)

    原文作者:汤汤汤汤汤雪林
    原文地址: https://www.jianshu.com/p/b9d3b4f5e7fc
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞