scrapy傻瓜式爬取苹果日报新闻标题

如何安装和创建项目这个不说了。直接上代码

《scrapy傻瓜式爬取苹果日报新闻标题》 QQ截图20160728231951.png

在spiders目录下创建crawl.py

import scrapy
from bs4 import BeautifulSoup

class AppleCrawler(scrapy.Spider):
    name = "apple"
    start_urls = ['http://www.appledaily.com.tw/realtimenews/section/new']
    def parse(self,response):
        res = BeautifulSoup(response.body)
        for news in res.select('.rtddt'):
            print news.select('h1')[0].text
            ```
然后打开CDM 直接运行吧
`scrapy crawl apple`

![QQ截图20160728232347.png](http://upload-images.jianshu.io/upload_images/2577034-13ea43198021937f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

都是现学现做的,其实我现在还不会用scrapy爬图片还有保存。这两天再找个能用的教程学下爬图片。简书上有两个scrapy爬图片的教程,可是我复制代码好像用不了。昨天其实有想学使用Git,可是上传不了,过段时间再学好了。
    原文作者:LEONYao
    原文地址: https://www.jianshu.com/p/0244857de97e
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注