当抓取到的图片Url后,如果一张一张的把图片都缓存到本地会占用大量的空间,而且没有什么太大的作用,还是把数据存到数据库里比较好一点。简单的数据库直接使用sqlite比较方便,而且Python自带sqlite3模块直接导入即可
当前用到sqlite3的方法
Python sqlite3 模块 API
<pre>
sqlite3.connect(database [,timeout ,other optional arguments])
该 API 打开一个到 SQLite 数据库文件 database 的链接。您可以使用 “:memory:” 来在 RAM 中打开一个到 database 的数据库连接,而不是在磁盘上打开。如果数据库成功打开,则返回一个连接对象。
</br>
cursor.execute(sql [, optional parameters])
该方法执行一个 SQL 语句。该 SQL 语句可以被参数化(即使用占位符代替 SQL 文本)。sqlite3 模块支持两种类型的占位符:问号和命名占位符(命名样式)。
</pre>
直接进入主题,根据面向对象的思想,创建一个SqliteManager和PictureObjClass
创建Class :SqliteManager
代码比较简单就不做什么解释了
<pre>
–– coding: utf-8 ––
import sqlite3
</br>
class SqliteManager:
def init(self,dbName):
self.dataBaseName = dbName
self.conn = sqlite3.connect(self.dataBaseName)
</br>
def save(self,sql):
self.executeSql(sql)
</br>
def delete(self,sql):
self.executeSql(sql)
</br>
def createTable(self,sql):
self.executeSql(sql)
</br>
def createIndex(self,sql):
self.executeSql(sql)
</br>
def executeSql(self,sql):
self.conn.execute(sql)
self.conn.commit()
</br>
def close(self):
self.conn.close()
</br>
</pre>
创建Class :PictureObj
这个类也就是提供一些创建表的sql和一些操作的sql语句,<h6>其中需要对getCreateIndexSql这个方法做一些解释:
这个方法创建索引,这样做一是可以查询的时候可以加快效率,二是插入数据到表中的时候可以自动判断表中该数据是否存在,如果不存在直接执行insert,如果不存在那么执行update</h6>
<pre>
class PictureObj:
</br>
def init(self,title,url):
self.picTitle = title
self.picUrl = url
self.tableName = “tb_picture”
</br>
def getTableSql(self):
sql = 'create table IF NOT EXISTS {0} (ID INTEGER PRIMARY KEY,picTitle text,picUrl text);'.format(
self.tableName)
return sql
</br>
def getCreateIndexSql(self):
sql = 'CREATE UNIQUE INDEX IF NOT EXISTS picUrl ON {0} (picUrl ASC);'.format(self.tableName)
return sql
</br>
def getInsertSql(self):
sql = 'REPLACE INTO {0} (picTitle,picUrl) VALUES (\'{1}\',\'{2}\')'.format(self.tableName,self.picTitle,self.picUrl)
print sql
return sql
</br>
def getSelectSql(self):
sql = 'select * from ' + self.tableName
return sql
</br>
def getDeleteAll(self):
sql = 'delete from ' + self.tableName
return sql
</pre>
主要爬虫类的代码
具体的一些操作说明可以参考: iOS程序员如何使用python写网路爬虫(一点更新)
,主要是这个基础上修改的
<pre>
#–coding:utf-8–
#! /usr/bin/python
import math
import urllib
import urllib2
# import request
from SqliteManager import SqliteManager
from bs4 import BeautifulSoup;
import sys
reload(sys)
sys.setdefaultencoding(‘utf-8’)
</br>
//class PictureObj:
//为了省事我直接把PictureObj的代码直接在放在改文件中了,你可以直接放这个位置,也可以新建一个文件然后import进来
</br>
manager = SqliteManager(’58Pic.db’)
globalPhone = PictureObj(”, ”)
manager.createTable(globalPhone.getTableSql())
manager.createIndex(globalPhone.getCreateIndexSql())
def getAllImageLink(start,end):
i = start
while (i < end):
url = ‘http://www.58pic.com/yuanchuang/%d.html’ % i
try:
response=urllib2.urlopen(url,data=None,timeout=120)
except urllib2.URLError as e:
print (‘%s : %s’ % (url,e.reason))
i += 1
continue
print (url)
html = response.read()
if html.strip()==”:
print (‘not exist URL: %s’,url)
continue
soup = BeautifulSoup(html, “html.parser”)
liResult = soup.findAll(‘div’,attrs={“class”:”show-area-pic”})
for li in liResult:
imageEntityArray = li.findAll(‘img’)
for image in imageEntityArray:
title = image.get(‘title’)
href = image.get(‘src’)
pic = PictureObj(title,href)
manager.save(pic.getInsertSql())
i = i + 1
if __name__ == ‘__main__’:
start = 19840500
getAllImageLink(start,start + 100)
</pre>
当可以从网爬到想要数据后,也不能一直让数据在硬盘里,最主要是要可以展现出来,让我们可以看到、使用,下一步会在本机部署一个diango服务出来,然后再做出来一个APP来使用
github上的Demo