异常处理具体见：【循序渐进学Python】9.异常处理

环境平台：Python2.7.9 + Win8.1

本篇记录一下自己写爬虫的遇到的问题，程序中批量获取图片地址，然后批量保存。由于没有设置网址打开超时，导致程序一直卡在哪里，程序处于假死状态。

经查询得知没有对程序进行超时处理，由于使用的是urllib模块的urlopen，无法直接添加timeout参数（注：python2.6之前的urllib2模块也无法添加timeout参数）

1 import socket
2 import urllib2
3 
4 socket.setdefaulttimeout(seconds)
5 open = urllib.urlopen("http://*****.com")
6 
7 #通过socket.setdefaulttimeout() 设置了全局默认超时时间，从而给urllibe.urlopen()也设置了默认的超时时间

Python urllib2设置超时并处理超时异常

最简单的情况是捕获urllib2.URLError

1 try:  
2     urllib2.urlopen("http://example.com", timeout = 1)  
3 except urllib2.URLError, e:  
4     raise MyException("There was an error: %r" % e)  

以下代码对超时异常进行了捕获

 1 import urllib2  
 2 import socket  
 3       
 4 class MyException(Exception):  
 5         pass  
 6       
 7 try:  
 8     urllib2.urlopen("http://example.com", timeout = 1)  
 9 except urllib2.URLError, e:  
10     if isinstance(e.reason, socket.timeout):  
11         raise MyException("There was an error: %r" % e)  
12     else:  
13         # reraise the original error  
14         raise

下面是自己爬虫程序内的一部分，仅仅做了简单的捕获处理。

 1 def saveImg(self, imageURL, fileName):
 2         try:
 3             u = urllib2.urlopen(imageURL, timeout=10)
 4             data = u.read()
 5             f = open(fileName, 'wb')
 6             f.write(data)
 7             print u"正在保存美女图片", fileName
 8             f.close()
 9         except Exception, e:
10             print e