把Python抓取的数据存到sqlite里

2019年6月9日 285次阅读

当抓取到的图片Url后，如果一张一张的把图片都缓存到本地会占用大量的空间，而且没有什么太大的作用，还是把数据存到数据库里比较好一点。简单的数据库直接使用sqlite比较方便，而且Python自带sqlite3模块直接导入即可

当前用到sqlite3的方法

Python sqlite3 模块 API

<pre>
sqlite3.connect(database [,timeout ,other optional arguments])
该 API 打开一个到 SQLite 数据库文件 database 的链接。您可以使用 “:memory:” 来在 RAM 中打开一个到 database 的数据库连接，而不是在磁盘上打开。如果数据库成功打开，则返回一个连接对象。
</br>

cursor.execute(sql [, optional parameters])
该方法执行一个 SQL 语句。该 SQL 语句可以被参数化（即使用占位符代替 SQL 文本）。sqlite3 模块支持两种类型的占位符：问号和命名占位符（命名样式）。

</pre>

直接进入主题，根据面向对象的思想，创建一个SqliteManager和PictureObjClass

创建Class ：SqliteManager

代码比较简单就不做什么解释了

<pre>

–– coding: utf-8 ––

import sqlite3
</br>

class SqliteManager:
def init(self,dbName):
self.dataBaseName = dbName
self.conn = sqlite3.connect(self.dataBaseName)
</br>

def save(self,sql):
    self.executeSql(sql)

</br>

def delete(self,sql):
    self.executeSql(sql)

</br>

def createTable(self,sql):
    self.executeSql(sql)

</br>

def createIndex(self,sql):
    self.executeSql(sql)

</br>

def executeSql(self,sql):
    self.conn.execute(sql)
    self.conn.commit()

</br>

def close(self):
    self.conn.close()

</br>

</pre>

创建Class ：PictureObj

这个类也就是提供一些创建表的sql和一些操作的sql语句，<h6>其中需要对getCreateIndexSql这个方法做一些解释：
这个方法创建索引，这样做一是可以查询的时候可以加快效率，二是插入数据到表中的时候可以自动判断表中该数据是否存在，如果不存在直接执行insert，如果不存在那么执行update</h6>
<pre>
class PictureObj:
</br>
def init(self,title,url):
self.picTitle = title
self.picUrl = url
self.tableName = “tb_picture”
</br>

def getTableSql(self):
    sql = 'create table IF NOT EXISTS {0} (ID INTEGER PRIMARY KEY,picTitle text,picUrl text);'.format(
        self.tableName)
    return sql

</br>

def getCreateIndexSql(self):
    sql = 'CREATE UNIQUE INDEX IF NOT EXISTS picUrl ON {0} (picUrl ASC);'.format(self.tableName)
    return sql

</br>

def getInsertSql(self):

    sql = 'REPLACE INTO {0} (picTitle,picUrl) VALUES (\'{1}\',\'{2}\')'.format(self.tableName,self.picTitle,self.picUrl)
    print sql
    return sql

</br>

def getSelectSql(self):
    sql = 'select * from ' + self.tableName
    return sql

</br>

def getDeleteAll(self):
    sql = 'delete from ' + self.tableName
    return sql

</pre>

主要爬虫类的代码

具体的一些操作说明可以参考： iOS程序员如何使用python写网路爬虫（一点更新）
，主要是这个基础上修改的
<pre>
#–coding:utf-8–
#! /usr/bin/python
import math
import urllib
import urllib2
# import request
from SqliteManager import SqliteManager
from bs4 import BeautifulSoup;

import sys
reload(sys)
sys.setdefaultencoding(‘utf-8’)
</br>

//class PictureObj:
//为了省事我直接把PictureObj的代码直接在放在改文件中了，你可以直接放这个位置，也可以新建一个文件然后import进来
</br>

manager = SqliteManager(’58Pic.db’)
globalPhone = PictureObj(”, ”)
manager.createTable(globalPhone.getTableSql())
manager.createIndex(globalPhone.getCreateIndexSql())

def getAllImageLink(start,end):
i = start
while (i < end):
url = ‘http://www.58pic.com/yuanchuang/%d.html’ % i
try:
response=urllib2.urlopen(url,data=None,timeout=120)
except urllib2.URLError as e:
print (‘%s : %s’ % (url,e.reason))
i += 1
continue
print (url)
html = response.read()
if html.strip()==”:
print (‘not exist URL: %s’,url)
continue
soup = BeautifulSoup(html, “html.parser”)
liResult = soup.findAll(‘div’,attrs={“class”:”show-area-pic”})
for li in liResult:
imageEntityArray = li.findAll(‘img’)
for image in imageEntityArray:
title = image.get(‘title’)
href = image.get(‘src’)
pic = PictureObj(title,href)
manager.save(pic.getInsertSql())
i = i + 1

if __name__ == ‘__main__’:
start = 19840500
getAllImageLink(start,start + 100)

</pre>
当可以从网爬到想要数据后，也不能一直让数据在硬盘里，最主要是要可以展现出来，让我们可以看到、使用，下一步会在本机部署一个diango服务出来，然后再做出来一个APP来使用
github上的Demo

点赞