Python爬虫Scrapy(三)_Scrapy Shell

2023年4月4日 258次阅读 来源: 小七奇奇

本篇将介绍使用scrapy的命令，更多内容请参考：Python学习指南

Scrapy Shell

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们从爬取的网页中提取数据。

如果安装了IPython，Scrapy终端将使用IPython（替代标准Python客户端）。IPython终端与其它相比更为强大，提供智能的自动补全，全亮输出，即其它特性。(推荐安装IPython)

启动Scrapy Shell

进入项目的根目录，执行下列命令来启动：

scrapy shell 'http://www.cnblogs.com/miqi1992/'

[root@centos chapter04]# scrapy shell 'http://www.cnblogs.com/miqi1992'
2017-12-25 16:19:58 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapybot)
2017-12-25 16:19:58 [scrapy.utils.log] INFO: Overridden settings: {'LOGSTATS_INTERVAL': 0, 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter'}
2017-12-25 16:19:58 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2017-12-25 16:19:58 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2017-12-25 16:19:58 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2017-12-25 16:19:58 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2017-12-25 16:19:58 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-12-25 16:19:58 [scrapy.core.engine] INFO: Spider opened
2017-12-25 16:19:58 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.cnblogs.com/miqi1992> (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x2ea9b10>
[s]   item       {}
[s]   request    <GET http://www.cnblogs.com/miqi1992>
[s]   response   <200 http://www.cnblogs.com/miqi1992>
[s]   settings   <scrapy.settings.Settings object at 0x2ea9990>
[s]   spider     <DefaultSpider 'default' at 0x32a6f10>
[s] Useful shortcuts:
[s]   fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s]   fetch(req)                  Fetch a scrapy.Request and update local objects 
[s]   shelp()           Shell help (print this help)
[s]   view(response)    View response in a browser

Scrapy Shell根据下载的页面会自动创建一些方便使用的对象，例如Response对象，以及Selector对象(对HTML及XML内容)

  • 当shell载入后，将会得到一个包含response的数据的本地response变量，输入response.body将输出response的包体，输出response.headers可以看到response的报头。
  • 输入response.selector时，将获取到一个response初始化的类Selector的对象，此时可以通过使用response.selector.xpath()或response.selector.css()来对resposne进行查询。
  • Scrapy也提供了一些快捷方式，例如response.xpath()或response.css()同样可以生效(如之前的案例)。

Selector选择器

Scrapy Selector内置XPath和CSS Selector表达式机制

Selector有四个基本的方法，最常用的还是xpath:

  • xpath():传入xpath表达式，返回该表达式所对应的所有节点的selector list列表
  • extract():序列化该节点为Unicode字符串并返回list
  • css():传入CSS表达式，返回该表达式所对应的所有节点的selector list列表，语法同BeautifulSoup4
  • re():传入输入的正则表达式对数据进行提取，返回Unicode字符串list列表

XPath表达式的例子及对应的含义：

/html/head/title:选择<HTML>文档中<head>标签内的<title>元素
/html/head/title/text()：选择上面提到的<title>元素的文字
//td:选择所有的<td>元素
//div[@class="mine"]:选择所有具有class="mine"属性的div元素

尝试Selector

我们用腾讯社招的网站 http://hr.tencent.com/position.php?&start=0#a举例：

response.xpath('//title')
[<Selector xpath='//title' data=u'<title>\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058</title'>]

#使用extract()方法返回Unicode字符串列表
response.xpath('//title').extract()
u'<title>\u804c\u4f4d\u641c\u7d22 | \u793e\u4f1a\u62db\u8058 | Tencent \u817e\u8baf\u62db\u8058

##打印列表中第一个元素，终端编码格式显示
print(response.xpath('//title'.extract()[0]))

response.xpath('//*[@class='even']')

以后做数据提取的时候，可以先在Scrapy Shell中测试，测试通过后再应用到代码中。当然Scrapy Shell作用不仅仅如此，但是不属于我们课程重点，不做详细介绍。

参考：

  1. 官方文档
    原文作者：小七奇奇
    原文地址: https://www.jianshu.com/p/40b0a9d1b76f
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞