用scrapy抓取数据 实验报告

刘璨 2014年信息管理与信息系统  2014141093017

前言说明:

由于本人代码水平较弱,作业参考和询问了其他同学,若有不足的地方,请老师谅解。

实验报告正文

我们小组经过商量之后决定使用阿里云。

   用ssh连接云服务器

《用scrapy抓取数据 实验报告》 成功连接

进入虚拟坏境目录并激活

《用scrapy抓取数据 实验报告》 激活

相关文件配置,生成项目树结构,创建我的空间(lc_quote)

《用scrapy抓取数据 实验报告》 创建

《用scrapy抓取数据 实验报告》
《用scrapy抓取数据 实验报告》 在本地编写spider代码 这里我采用的是记事本 保持成py格式
《用scrapy抓取数据 实验报告》 加入py文件
《用scrapy抓取数据 实验报告》 执行文件
《用scrapy抓取数据 实验报告》 执行的结果 

上面显示的代码有误但还是形成了html文件

《用scrapy抓取数据 实验报告》 在目录中生成的html文件

《用scrapy抓取数据 实验报告》 形成的html文件

爬取json数据

《用scrapy抓取数据 实验报告》 本地编写spider文件 还是保持成py文件

(中间一段过程的截图忘记保持)步骤同上,将py文件拖到spiders文件夹下

执行scrapy crawl lc_quotes_spider -o slx_26666.json(26666是随意输入的)

《用scrapy抓取数据 实验报告》 最终形成的json文件

    原文作者:爱FT的芋头
    原文地址: https://www.jianshu.com/p/04a9c49eed69
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞