摘要
刚接触scrapy时候,需要把item经过pipelines处理后插入到mysql,写插入语句教程是将item数据一个个枚举出来,在字段特别多的时候还是蛮麻烦的,而且可扩展性比较差,其实只要稍作封装就能很好的解决这种尴尬
import pymysql
from datetime import datetime
class MyPyMysql(object):
def __init__(self, user, passwd, db, host='localhost', port=3306, use_unicode=True):
self.host = host
self.port = port
self.user = user
self.passwd = passwd
self.db = db
self.connect = pymysql.connect(host=self.host, port=self.port, db=self.db, user=self.user, passwd=self.passwd,
use_unicode=True)
self.cursor = self.connect.cursor()
def insert(self, table_name, kwargs):
sql = 'insert into {} ({}) VALUES {};'.format(table_name, ','.join(list(kwargs.keys())),
tuple(kwargs.values()))
self.query(sql)
'''
success excute insert into student (id,name,age,birthData) VALUES (12, 'dalex', 20, '2018-03-15 14:32:35.271451');
success excute insert into student (id,name,age,birthData) VALUES (23, 'balex', 20, '2018-03-15 14:32:35.271451');
'''
print('success excute {}'.format(sql))
def query(self, sql):
self.cursor.execute(sql)
self.connect.commit()
def close(self):
self.cursor.close()
self.connect.close()
if __name__ == "__main__":
me = MyPyMysql('root', 'root', 'blog')
birthData = str(datetime.now())
me.insert('student', {'id': 12, 'name': 'dalex', 'age': 20, 'birthData': birthData})
me.insert('student', {'id': 23, 'name': 'balex', 'age': 20, 'birthData': birthData})
me.close()
日期格式化
由于对日期函数不是很熟悉,插入日期格式不对导致插入失败,后来查了下相关文档,清楚了很多
1、由日期格式转化为字符串格式的函数为: datetime.datetime.strftime()
2、由字符串格式转化为日期格式的函数为: datetime.datetime.strptime()
from datetime import datetime
print(datetime.now().strftime('%Y-%m-%d'))
print(datetime.strptime('2018-03-15 15:32:24', '%Y-%m-%d %H:%M:%S'))
'''
输出结果为:
2018-03-15
2018-03-15 15:32:24
'''
#格式化时间相操作
# %a 星期的简写。如 星期三为Web
# %A 星期的全写。如 星期三为Wednesday
# %b 月份的简写。如4月份为Apr
# %B月份的全写。如4月份为April
# %c: 日期时间的字符串表示。(如: 04/07/10 10:43:39)
# %d: 日在这个月中的天数(是这个月的第几天)
# %f: 微秒(范围[0,999999])
# %H: 小时(24小时制,[0, 23])
# %I: 小时(12小时制,[0, 11])
# %j: 日在年中的天数 [001,366](是当年的第几天)
# %m: 月份([01,12])
# %M: 分钟([00,59])
# %p: AM或者PM
# %S: 秒(范围为[00,61],为什么不是[00, 59],参考python手册~_~)
# %U: 周在当年的周数当年的第几周),星期天作为周的第一天
# %w: 今天在这周的天数,范围为[0, 6],6表示星期天
# %W: 周在当年的周数(是当年的第几周),星期一作为周的第一天
# %x: 日期字符串(如:04/07/10)
# %X: 时间字符串(如:10:43:39)
# %y: 2个数字表示的年份
# %Y: 4个数字表示的年份
# %z: 与utc时间的间隔 (如果是本地时间,返回空字符串)
# %Z: 时区名称(如果是本地时间,返回空字符串)
# %%: %% => %
引用