用正则表达式实现一个简单的小爬虫

常用方法介绍

1、导入工具包

import requests
#导入请求模块
from flask import json
#导入json模块
from requests.exceptions import RequestException
#异常捕捉模块
import re
#导入正则模块
from multiprocessing import Pool
#导入进程模块
    

2、获取页面

response =requests.get(url)
url:当前需要爬取的链接
requests.get()获得页面

3、if response.status_code ==200:

#验证状态码
response.status_code：获取状态码
200：表示正常，连接成功

4、response.text：得到页面内容

例如：response =requests.get(url)

5、except RequestException:捕捉异常

try:
    ...
except RequestException:
    ...

6、pat = re.compile():编译正则表达式

#正则表达式基础知识即可

7、items =re.findall(pat,html)

pat：编译过的正则表达式
html：用response.text得到的页面内容
re.findall()：找到所有匹配的内容

8、打开文件

with open('result','a',encoding='utf-8')as f
with as :打开自动闭合的文件并设立对象f进行操作
result:文件名字
a:打开方式是续写模式
encoding:编码格式

9、写入文件

 f.write(json.dumps(conrent,ensure_ascii =False)+'\n')
 json.dumps:以json方式写入

10、简单进程

pool = Pool()
#创建进程池
pool.map(func,[i*10 for i in range(10)])
[i*10 for i in range(10)]：生成器，生成0到9的数字乘以10的结果，生成一个列表为[0,10,20....]
func:函数
map：将函数作用于列表每一个元素

11、yield:生成器

案例：用上面的工具完成爬去猫眼电影TOP榜

#__author:PL.Li
#导入需要使用的模块
import requests
from flask import json
from requests.exceptions import RequestException
import re
from multiprocessing import Pool
#尝试连接获取页面
def get_response(url):
    try:
        response =requests.get(url)
        if response.status_code ==200:
            return response.text
        return None
    except RequestException:
        return None
#正则匹配需要的内容
def re_one_page(html):
#超级长的正则表达式进行匹配，匹配到的是个集合。  
    pat =re.compile('<dd>.*?board-index.*?">(/d+?)</i>.*?data-src="(.*?).*?name"><a.*?">(.*?)"class=.*?class="star">'
                    '(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
   #用迭代进行异步操作  
    items =re.findall(pat,html)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],
            'time':item[4].strip(),
            'score':item[5]+item[6]

        }
#保存写入文件
def write_file(conrent):
    with open('result','a',encoding='utf-8')as f:
        f.write(json.dumps(conrent,ensure_ascii =False)+'\n')
        f.close()
#配置启动函数
def main(offset):
    url ='http://maoyan.com/board'+str(offset)
    html=get_response(url)
    for item in re_one_page(html):
        write_file(item)
#使用多进程加速一秒完成
if __name__ == '__main__':
        pool = Pool()
        pool.map(main,[i*10 for i in range(10)])