简单的爬虫工具

下载博客，并转成Markdown的形式

为什么要写这个工具

主要是为了收集好的网上资源，每次看到一篇好的文章就像保存下来，但是保存网页的可读性太差了，如果转换成Markdown的形式就很舒服。但是网页中会有许多无聊的标签干扰，于是写个简单的工具

使用的python库

• beautifulsoup4
• requests
• html2text

目录

• csdn.py csdn博客爬虫
• jianshu.py 简书博客爬虫
• juejin.py 掘金文章爬虫
• segmentfault.py segmentfault文章爬虫

使用方法举例

import html2md

url_list = [
        'http://blog.csdn.net/qq_37482544/article/details/63720726', # csdn
        'https://www.jianshu.com/p/b6220e99df2d', # jianshu
        'https://juejin.im/post/5a68437b6fb9a01ca47aabc6', # juejin
        'https://segmentfault.com/a/1190000011929414', # segmentfault
        'http://www.voidcn.com/article/p-giqfrkhb-bbr.html', # 其他
        'https://www.cnblogs.com/zxqstrong/p/4789105.html'
    ]
for url in url_list:
    checkSite(url)

项目地址

https://github.com/No-96/Feng…