实战:基于Scrapy+Elasticsearch+Django搭建的分布式电影搜索

Just Downlink

实战:基于 scrapy + elasticsearch + django 搭建的分布式电影搜索
源码:https://github.com/GFigure/JustDownlink
网页链接:Just Downlink

  • 利用 scrapy 爬取知名电影网站的下载链接
  • 利用 elasticsearch 存储数据
  • 利用 django 搭建电影搜索界面

数据采集

  • 支持同步、异步数据存储至 Mysql 数据库
  • 支持 elasticsearch 数据存储
  • 支持 json 数据导出
  • 保存日志至 logs 目录

搜索界面

  • 搜索建议
  • 简化电影下载页面

电影网站

    原文作者:東飛
    原文地址: https://www.jianshu.com/p/1f1f2c21df3f
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞