Peewee批量插入数据

最近,需要同步数据到Mysql中,数据量有几百万。但是,自己写一个for循环,然后使用Model.create()添加,发现这种方式特别慢。难道,像去年爬数据一样,将几百万的数据从Redis取出来,然后使用多线程进行保存?

在Google上搜索了之后,找到一种更简单的方式,那就是使用Peewee原生的方法insert_many(),进行批量数据插入。

那么,它的速度有多快?

下面,是我简单的比较了插入10000条数据到本地数据库中,四种方式所需要的时间。

第一种,for循环和Model.create()

代码如下:

from xModels import XUser, database
import time

NUM = 10000
start_time = time.time()

users = []
for i in range(NUM):
    XUser.create(phone='13847374833', password='123456')

print("插入{}条数据, 花费: {:.3}秒".format(NUM, time.time()-start_time))

结果:插入10000条数据, 花费: 10.5秒

第二种,for循环和Model.create(),并放入事务中

代码如下:

from xModels import XUser, database
import time

NUM = 10000
start_time = time.time()

with database.atomic():
    for i in range(NUM):
        XUser.create(phone='13847374833', password='123456')

print("插入{}条数据, 花费: {:.3}秒".format(NUM, time.time()-start_time))

结果:插入10000条数据, 花费: 4.94秒

第三种,使用原生的insert_many()方法

from xModels import XUser, database
import time

NUM = 10000
data = [{
            'phone': '13847374833',
            'password': '123456'
        } for i in range(NUM)]

start_time = time.time()

for i in range(0, NUM, 100):
    XUser.insert_many(data[i:i + 100]).execute()

print("插入{}条数据, 花费: {:.3}秒".format(NUM, time.time()-start_time))

结果:插入10000条数据, 花费: 0.505秒

第四种,使用原生的insert_many()方法,并放入事务中

from xModels import XUser, database
import time

NUM = 10000
data = [{
            'phone': '13847374833',
            'password': '123456'
        } for i in range(NUM)]

start_time = time.time()

with database.atomic():
    for i in range(0, NUM, 100):
        # 每次批量插入100条,分成多次插入
        XUser.insert_many(data[i:i + 100]).execute()

print("插入{}条数据, 花费: {:.3}秒".format(NUM, time.time()-start_time))

结果:插入10000条数据, 花费: 0.401秒

结论

  • insert_many()比使用for+Model.create()方式快很多,在上面例子中快了十倍不止
  • 使用事务,可以些许提升

参考

Python中peewee模块

    原文作者:liuchungui
    原文地址: https://www.jianshu.com/p/bd51bcdce67d
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞