实战：基于Scrapy+Elasticsearch+Django搭建的分布式电影搜索

2023年2月22日 383次阅读 来源: 東飛

Just Downlink

实战：基于 scrapy + elasticsearch + django 搭建的分布式电影搜索
源码：https://github.com/GFigure/JustDownlink
网页链接：Just Downlink

  • 利用 scrapy 爬取知名电影网站的下载链接
  • 利用 elasticsearch 存储数据
  • 利用 django 搭建电影搜索界面

数据采集

  • 支持同步、异步数据存储至 Mysql 数据库
  • 支持 elasticsearch 数据存储
  • 支持 json 数据导出
  • 保存日志至 logs 目录

搜索界面

  • 搜索建议
  • 简化电影下载页面

电影网站

    原文作者：東飛
    原文地址: https://www.jianshu.com/p/1f1f2c21df3f
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞