今天带来scrapy的第二讲，讲道理这个爬虫框架确实不错，但是用起来很多地方好坑，需要大家自己总结了，接下来我们先好好讲讲scrapy的用法机制。 1 命令行工具 list 列出当前项目中所有可用的spider。每行输出…

linux: ubuntu16.04-64bit python: 3.5.2 安装环境 sudo apt-get install build-essential sudo apt-get install python3-…

Homebrew Homebrew是一款非常强大的可以应用在MAC中的Linux管理包，如果上面的方法感觉比较麻烦，我们可以通过下面的方法解决。 A – 执行安装brew ruby -e “$(c…

找到免费或者消费的代理网站，拿到获取IP的API，在Middlewares中添加ProxyMiddleware组件，同时在settings.py中使能。 具体代码如下： import re import urllib.r…

模拟登陆时，必须保证settings.py里的 COOKIES_ENABLED (Cookies中间件) 处于开启状态，COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False…

最近被scrapy的dont_filter困扰，因为写的程序经常因为request被过滤掉而中断。 自认为还是不了解scrapy的运行机制造成的。 如下代码： from scrapy.spiders import Spi…

大多数情况下，网站都会根据我们的请求头信息来区分你是不是一个爬虫程序，如果一旦识别出这是一个爬虫程序，很容易就会拒绝我们的请求，因此我们需要给我们的爬虫手动添加请求头信息，来模拟浏览器的行为，但是当我们需要大量的爬取某一…

本篇将介绍使用scrapy的命令，更多内容请参考：Python学习指南 Scrapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式…

2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to ‘bbs.zol.com.cn’: 这条日志记录有点奇怪…

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地…

1.什么是状态码301,302 301 Moved Permanently（永久重定向） 被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个URI之一。 解决（一） 1.在Reques…

又是python3,发现坑真多，能不能好好用python3了… macosx安装scrapy的坑真多，纪录一下 首先支持的是python2,python3上安装成功却不能使用… libxml2,l…