什么是 pandas

pandas 是一个 Python 包，它提供了快速、灵活和丰富的数据结构，可以简单又直观地处理“关系”和“标签”数据，是 Python 中做数据分析的重要模块。详见 pandas 官方文档

DataFrame

pandas 有两个非常重要的数据结构 Series 和 DataFrame。Series 是序列，多行单列，DataFrame 多行多列。先看一个图表

图片来自[这里](http://chrisalbon.com/python/pandas_missing_data.html)

上图是 pandas.DataFrame 输出样式。最左列是索引列，默认为自增的数字序列。第一行是列名，NaN表示空，无数据。当导入数据，或者做数据框合并时，若出现空数据， pandas 会自动将此项设置为 NaN。

如何使用 pandas

我们现在有一个需求，分析电话号码的合法性。以下例子围绕这个展开。

导入 csv 格式文件。

import pandas as pd
df = pd.read_csv('phone.csv', encoding='utf8')

根据某列生成其他列，可如下实现。

import phonenumbers

def valid_phone_number(phones):
    vphones = []
    status = []
    # vphone = None
    for phone in phones:
        try:
            p=phonenumbers.parse(phone,'CN')
            vphones.append(str(p.national_number))
            status.append(phonenumbers.is_valid_number(p))
        except Exception, e:
            vphones.append(np.NaN)
            status.append(np.NaN)
            print e

    return [vphones, status]
    
result = valid_phone_number(df['phone'])
df['format'] = result[0]
df['status'] = result[1]
print df

结果：

              phone        format status
0     +862110100000    2110100000   True
1     ?059122663000   59122663000   True
2     ? 15822203333   15822203333   True
3     0254000211111  254000211111  False
4     +862082688688    2082688688   True
5  1795111111120009   11111120009  False
6    0451811$012599           NaN    NaN

在列上应用函数

def valid_phone_number(phone):
    vp = None
    
    try:
        p = phonenumbers.parse(phone,'CN')
        if phonenumbers.is_valid_number(p):
            vp = [str(p.national_number), True]
        else:
            vp = [str(p.national_number), False]
    except Exception, e:
        print e

    return vp
    
df['phone_status'] = df['phone'].apply(valid_phone_number)

输出结果

              phone           phone_status
0     +862110100000     [2110100000, True]
1     ?059122663000    [59122663000, True]
2     ? 15822203333    [15822203333, True]
3     0254000211111  [254000211111, False]
4     +862082688688     [2082688688, True]
5  1795111111120009   [11111120009, False]
6    0451811$012599                   None

拆 list 列

tags = df['phone_status'].apply(pd.Series)
tags = tags.rename(columns = lambda x : 'format' if x == 0 else 'status')
dfs = pd.concat([df['phone'], tags[:]], axis=1)

# 排序输出
print dfs.sort_values(by='status', ascending=0)

结果：

              phone        format status
0     +862110100000    2110100000   True
1     ?059122663000   59122663000   True
2     ? 15822203333   15822203333   True
4     +862082688688    2082688688   True
3     0254000211111  254000211111  False
5  1795111111120009   11111120009  False
6    0451811$012599           NaN    NaN

统计：

print pd.value_counts(df['status'], sort=False)

结果

False    2
True     4
Name: status, dtype: int64

输出结果到文件 excel／csv， index=False表示不包含索引列，即上面的最左列

# csv
df.to_csv('phones.csv', encoding='utf8', index=False)
# excel
df.to_excel('phones.xlsx', sheet_name='Sheet1', index=False)

结果如下图：

输出的 excel 表格

在列上应用函数修改值，去掉所有值的前后空格：

stripstr = lambda x: x.strip() if isinstance(x, unicode) else x
# 在所有列上修改
df = df.applymap(stripstr)

如果只对某列进行修改：

# 在phone列修改
df['phone'] = df['phone'].apply(stripstr)

删除重复行

df.drop_duplicates()

删除列

# axis=1 表示列
df.drop('phone_status', axis=1)
# 删除索引值为1的行
df.drop(1)

空数据的处理：

# 空（NaN）值填0
df["phone"].fillna(0)
#删除所有列都为 NaN 的行
df.dropna(how='all')
#删除含 NaN 的行
df.dropna()

参考
10 Minutes to pandas
Data Science for Political and Social Phenomena #Python
python-phonenumbers