前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了想爬取其中的视频，用来在电脑上学习。
决定花两天时间用学了一段时间的python做一做。
我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。
整个工程结构:
—-entity
——–__init__.py
——–fileinfor.py用来描述视频文件信息
—-filedeal
——–__init__.py
——–file_downloader.py用于视频文件的下载
—-spider 爬虫的核心内容
——–__init__.py
——–html_downloader.py html下载器
——–html_parser.py html解析器
——–spiderman.py 爬虫核心逻辑
—-test test文件夹主要是用来测试一些用例,不参与整个程序运行
—-conf.py 一些全局变量
—-index.py 程序启动入口
运行环境:
python 2.7.X
需要安装的支持模块:
BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2
运行:在windows上直接双击start.bat,linux上没试
现在将程序运行起来,双击start.bat:
输入课程号，选择视频品质:
等到显示100%时，会将视频下载到当前目录下
源代码在我的github上:https://github.com/qiyeboy/spider_smooc
最后，学习Python中的小伙伴，需要学习资料的话，可以前往我的微信公众号：速学Python，后台回复：简书，即可拿Python学习资料
这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。送给正在学习python的小伙伴！这里是python学习者聚集地，欢迎初学和进阶中的小伙伴！
欢迎大家指教学习
