python – pandas read_csv转换器性能问题

2019年7月20日 230次阅读

描述

在读取大型csv文件(数百万行混合数据)时,我使用了pandas的read_csv方法的converter参数来方便地传递将字符串转换为datetime对象等的函数.

但是,与手动转换相应的列相比,使用converter参数非常慢.

示例代码

为了说明,我们使用3种不同的方法将字符串转换为datetime对象：

>转换器参数
> parse_dates / date_parser参数
>加载csv后手动

注意,从字符串到datetime的转换在这里是任意的.这可以用其他函数替换(除了没有特定的parse_dates / date_parser参数).

import pandas as pd # 0.19.2 with python 3.5

# create dummy data
rows = 100000
data = {"dates": pd.date_range("2017-02-27 20:44:23", periods=rows, freq="S")}

# save as temporary file for timeit
pd.DataFrame(data).to_csv("dummy")

# define converters
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

现在,让我们看一下timeit(Ipython)比较：

%%timeit
df = pd.read_csv("dummy", converters={"dates": convert_datetime})
# 1 loop, best of 3: 7.76 s per loop

%%timeit
df = pd.read_csv("dummy", parse_dates=["dates"], date_parser=convert_datetime)
# 10 loops, best of 3: 125 ms per loop

%%timeit
df = pd.read_csv("dummy")
df["dates"] = convert_datetime(df["dates"])
# 10 loops, best of 3: 129 ms per loop

结果

转换器的版本比其他版本慢大约60倍.为了更好地理解这一点,我将convert_datetime函数包装成一个小的装饰器类来计算调用次数：

class Counter:
   def __init__(self, func):
       self.func = func
       self.count = 0

   def __call__(self, *args, **kwargs):
       self.count += 1
       return self.func(*args, **kwargs)

@Counter
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

它揭示了使用转换器的参数为每个单独的值调用convert_datetime函数,而其他版本只调用转换器函数一次.这解释了性能不足.

题

这是为什么？我希望传递给转换器参数的矢量化函数一次对所有值执行,而不是分别对每个值执行.

最佳答案 从
read_csv的文档(强调我的),

converters : dict, default None

  • Dict of functions for converting values in certain columns. Keys can either be integers or column labels

converter关键字参数的想法是提供作用于单个值而非整个列的函数.通过重新定义转换器功能可以看出这一点

def convert_datetime(val):
    return datetime.datetime.strptime(val, "%Y-%m-%d %H:%M:%S")

%timeit pd.read_csv("dummy", converters={"dates": convert_datetime})
1 loop, best of 3: 2.81 s per loop

正如您可以想象的那样,这相当于许多Python函数调用.

至于为什么转换器参数不接受矢量化函数,我最好的猜测是它们提供的灵活性比当前实现少一些.有了这样的想法,你可以解析必要的日期列等,这可能需要一些带有矢量化parse_dates的解析逻辑,date_parser,并且大多数列操作可以使用矢量化方法进行后读.

换句话说,能够解析必须以不同类型(如日期时间)结束的元素对于在read_csv中具有矢量化方法是方便的.除此之外,转换器只是一个方便的参数,可以灵活地作用于单个值 – 因为进一步的矢量化方法可以只在后读取完成.

点赞