scrapy爬取天猫被重定向302问题

importscrapy

classtmSpider(scrapy.Spider):

name =’tianmao’

defstart_requests(self):

# 全部url

urls = [‘https://xxxx.tmall.com/xxx’]

foruinurls:

yieldscrapy.Request(u,self.parse,headers=headers)

defparse(self, response):

result = response.text

print(‘start parse…’)

print(result)

以上是爬虫代码,在运行时出现页面被302跳转到登录页面,无法获取目标网站内容。

我的解决方法是,在Request方法里加入headers,同时在settings.py里禁用cookies:

# Disable cookies (enabled by default)

COOKIES_ENABLED =False

我的理解是,如果没有自定义cookies而 使用scrapy自带的cookies,会被网站识别为机器人,因此如果爬虫不需要使用cookies,那就先把它禁掉。

    原文作者:火柴菌
    原文地址: https://www.jianshu.com/p/dfdc84627a54
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞