一、史前故事 先看一个简单例子，实际可能会复杂很多： def today(): print('2018-05-25') 现在有一个新的需求，希望可以记录下函数的执行日志，于是在代码中添加日志代码： def today()…

前两天在linux 上面写了一版爬取微信公众号的文章 13_python爬虫——爬出新高度_抓取微信公众号文章（selenium+phantomjs）（上） 今天重新修改一下，让它在windows上面也能运行 运行下面的…

python爬虫(15)爬取百度百科字条——学自慕课网 写在前面的话 这段时间在学python，感觉用它爬取网络上的内容挺有意思的，然后在慕课网上看到一个爬取百度百科python字条的一个教学视频 人家讲的挺清楚的，就是…

lxml库里的etree模块 etree.HTML()  进行初始化，构造解析对象 etree.tostring()   修正后的HTML代码 etree.parse()  &nb…

这两天在准备泰迪杯的比赛，我们选的题目需要用爬虫来解决。所以我也开始学习了一点爬虫。在学习的过程中发现网上不乏好的教程。例如我主要用来学习由崔庆才老师编写的博客的静览就是非常不错的资料。 不过现在找到的从零开始的教程中很…

学习要点 学习如何跟踪调试scrapy框架 oh..距离上次写scrapy笔记3已经有一个多月了,跳票这么久,除了投简历找工作就是自己懒癌发作. 嗯,等确定了到底去哪工作之后一定会勤奋的更新的! 今天来讲讲怎么跟踪调试s…

安装 Linux: 使用pip安装 命令:pip install scrapy Windows 从 http://python.org/download/ 上安装Python 2.7. 您需要修改 PATH 环境变量，将…

背景 简单来说是整个工程有一个启动文件，需要用一个const.py文件中的参数来控制运行环境，这在Pycharm这些IDE里面运行当然没问题，因为编译器的运行环境是一个虚拟的env。我在Jenkins的机器上运行时，无法…

爬虫的工作流程大致如下， 下载html –> 提取内容与url –> 调度 –> 继续下载… 今日打算谈谈我对于提取内容与url的看法。 传统方案 xpa…

其实学习爬虫也挺简单，主要就是三个步骤 1.抓取网页 2.分析网页 3.保存数据 抓取网页 urllib库 urllib库下主要分成四个模块 1.request   模拟发送请求 2.error&nb…

urllib2 的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。 这里主要说的是URLError和HT…

昨天初学了下scrapy，今天测试下效果，看见网上很多都是用豆瓣的页面做测试，那么久换个不一样的，就选择 天天美剧 了 ＃coding:utf-8 import json import scrapy from my_sc…