1. 蜂鸟网图片简介

国庆假日终了了，新的事变又最先了，本日我们继承爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个拍照大牛群集的处所，本教程请用来进修，不要用于贸易目标，不出不测，蜂鸟是有版权庇护的网站。

2. 蜂鸟网图片网站剖析

第一步，剖析要爬取的网站有无要领爬取，翻开页面，找分页

http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3¬_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4&not_in_id=5352384,5352410

上面的页面发明一个症结的参数page=1这个就是页码了，然则另一个比较头疼的问题是，他没有末了的页码，如许我们没有办法肯定轮回次数，所以背面的代码编写中，只能运用while了

这个地点返回的是JSON花样的数据，这个对爬虫来讲，异常友爱！省的我们用正则表达式剖析了。

剖析这个页面的头文件，查阅是不是有反爬步伐

发明除了HOST和User-Agent之外，没有特别的点，大网站就是率性，没啥反爬，能够压根不在乎这个事变。

第二步，剖析图片概况页面，在我们上面获取到的JSON中，找到症结地点

症结地点翻开以后，这个处一切一个比较骚的操纵了，上面图片中标注的URL选的不好，恰好是一个文章了，我们要的是组图，从新供应一个新链接 http://image.fengniao.com/slide/535/5352130_1.html#p=1

翻开页面，你能够直接去找规律了，找到下面的一堆链接，然则这个操纵就有点庞杂了，我们查阅上述页面的源码

http://image.fengniao.com/slide/535/5352130_1.html#p=1
http://image.fengniao.com/slide/535/5352130_1.html#p=2
http://image.fengniao.com/slide/535/5352130_1.html#p=3
....

网页源码中发明了，这么一块地区

斗胆勇敢的猜想一下，这个应该是图片的JSON，只是他打印在了HTML中，我们只需要用正则表达式举行一下婚配就好了，婚配到以后，然后举行下载。

第三步，最先撸代码。

3. 蜂鸟网图片写代码

from http_help import R  # 这个文件本身去上篇博客找，或许去github找
import threading
import time
import json
import re

img_list = []
imgs_lock = threading.Lock()  #图片操纵锁


# 生产者类
class Product(threading.Thread):

    def __init__(self):
        threading.Thread.__init__(self)

        self.__headers = {"Referer":"http://image.fengniao.com/",
                          "Host": "image.fengniao.com",
                          "X-Requested-With":"XMLHttpRequest"
                          }
        #链接模板
        self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}&not_in_id={}"
        self.__res = R(headers=self.__headers)


    def run(self):

        # 由于不知道轮回次数，一切采纳while轮回
        index = 2 #肇端页码设置为1
        not_in = "5352384,5352410"
        while True:
            url  = self.__start.format(index,not_in)
            print("最先操纵:{}".format(url))
            index += 1

            content = self.__res.get_content(url,charset="gbk")

            if content is None:
                print("数据能够已没有了====")
                continue

            time.sleep(3)  # 就寝3秒
            json_content = json.loads(content)

            if json_content["status"] == 1:
                for item in json_content["data"]:
                    title = item["title"]
                    child_url =  item["url"]   # 获取到链接以后

                    img_content = self.__res.get_content(child_url,charset="gbk")

                    pattern = re.compile('"pic_url_1920_b":"(.*?)"')
                    imgs_json = pattern.findall(img_content)
                    if len(imgs_json) > 0:

                        if imgs_lock.acquire():
                            img_list.append({"title":title,"urls":imgs_json})   # 这个处所，我用的是字典+列表的体式格局，主如果想背面天生文件夹用，你能够举行革新
                            imgs_lock.release()

上面的链接已天生，下面就是下载图片了，也异常简朴

# 消费者
class Consumer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)
        self.__res = R()

    def run(self):

        while True:
            if len(img_list) <= 0:
                continue  # 进入下一次轮回

            if imgs_lock.acquire():

                data = img_list[0]
                del img_list[0]  # 删除第一项

                imgs_lock.release()

            urls =[url.replace("\\","") for url in data["urls"]]

            # 建立文件目次
            for item_url in urls:
               try:
                   file =  self.__res.get_file(item_url)
                   # 记得在项目根目次先把fengniaos文件夹建立终了
                   with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:
                       f.write(file)
               except Exception as e:
                   print(e)

代码走起，效果