说起写爬虫，大多数第一时间想到的就是python了。python语法简洁明了，加上及其丰富好用的库，用它来写爬虫有天然的优势。 之前学python的时候也用requests+lxml写过几个爬虫玩，但是都就爬取一些内容就…

不同网站的编码并本完全相同，在爬虫应用中解析文本信息的时候需要考虑网页的编码方式， 否则获得的结果可能是乱码 可以从网页， 代码里的meta标签的charset属性中看到其编码方式， 倒如<meta charset…

多线程概述 多线程使得程序内部可以分出多个线程来做多件事情，充分利用CPU空闲时间，提升处理效率。python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading…

重定向问题 在使用python爬虫的过程中难免会遇到很多301，302的问题。他们出现时，很大程度的影响到我们的爬虫速度和信息的准确性。下面针对不同的模块给出不同的解决方案。 使用requests模块爬虫 使用reque…

爬虫高级操作：Scrapy framework 章节内容 scrapy概述 scrapy安装 quick start 入门程序 核心API scrapy shell 深度爬虫 请求和响应 中间件——下载中间件 常见设置操…

今天是2016年6月26日，开始学习爬虫。 软件包使用Scrapy。 已经在linux虚拟机下安装了anaconda3，安装Scrapy，版本为1.1。 以这个网址作为https://doc.scrapy.org/en/…

一 . 编写scrapy爬虫 创建项目：D:\scrapy>scrapy startproject Tencent D:\scrapy> cd Tentcent 创建爬虫：D:\scrapy\Tentcent…

运行环境： * Python 2.7.12 * Scrapy 1.2.2 * Mac OS X 10.10.3 Yosemite 继续爬取Scrapy 1.2.2文档提供的练习网址： “http://quot…

原来写过用requests爬取一个区的爬虫，这段时间研究了下scrapy，写了个爬取全站视频的爬虫，踩了一堆scrapy的坑，正好记录一下，有空慢慢更新吧。 在B站完结动画分区数据爬取那章里介绍了B站的api，其中有一个…

由于Scrapy_redis已经为封装了大部分的流程，所以使用它不会有任何难度。 1.启动Redis 首先需要把Redis启动起来。使用Mac OS/Linux的同学在终端下面输入以下命令并回车： redis-serve…

近期因为工作需要，开始学习和写爬虫，学习到了很多内容，就整理了一下发上来。 需求 这里爬虫的目的是检测网站的漏洞，因此希望做成类似于burpSuit的历史记录一样的。 初步需求是简单地爬取网站的链接，去重，尝试绕过反爬虫…

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，只需要定制开发几个模块就可以轻松的实现一个爬虫。 安装 Scrapy官网和官方安装文档。 直接使用PIP安装 pip install…