为什么看博客的时候里面的链接总是 404
作为一个野路子程序员,看大牛的博客是学习,进步的很重要的一个信息来源。
作为一个信息的汇聚点,博客中总会引用些其他的经典文章,或是某开源项官方文档中的重要部分。
然而由于更新博客是很低频率的事件,所以随着时间推移,很可能发生的情况是:大牛引用的另一篇文章
已经被删除,或者干脆域名到期,引用的博客关门大吉;由于开源项版本升级,原先的文档已经不适用因而
官方删除了。
So, 404…
现状
尝试测试了 阮一峰(http://www.ruanyifeng.com/blog/), 王垠(http://www.yinwang.org/) 等知名博主的博客,发现几乎都有链接失效的问题。
可见此问题很常见。
博主
大多数的博主并不是通过写博客盈利赚钱,所以不可能定期去检查以前博文中的链接是否有效。
话说回来,即便真的是通过写博客盈利赚钱,那么多的博文,也不太可能定期去检查以前博文中的链接是否有效吧。。
读者
虽然对我很不友好,破坏了上下文和文章的完整性,但是
习惯了。。认了吧。。。凑合看吧。。
中国特色
由于众所周知的原因,中国读者遇到引用链接不可访问的情况更多,并且不可访问的链接越来越多。
作为一个独立开发者,用了若干个第三方服务,CDN 等。天有不测风云风云,保不齐哪天哪个服务商就黄了,或者哪个 CDN
又被墙了。。。
尝试解决
一个可能的解决方法 link doctor
博主(站长)在网站注册后,系统尝试定期(每6小时1次,可设定)对网站进行一次分析,找出失效的引用的链接,或是失效的引用的资源(js, css),
并将分析结果发送给博主(站长)。
目前刚刚有想法做这个东西,并做了个简单的 Demo。
在检测的全面性和精准度方面还不做保证。如果真的有博主有这个需求,请收藏、标星。如果没有人有需求的话,就弃坑了。。
或者有什么好的建议的话,欢迎提个 issue。
github 地址在此:
https://github.com/FingerLiu/…
待解决问题
- 爬虫被 ban
- 由于国内和国内网络环境不同,分别部署不同的服务器
- 什么需要检测什么不需要
- 对引用的链接进行备份(snapshot)。