最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。 Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小2),漫步了一圈,发现只有pys…
分类:phantomjs
WechatScraper ——基于搜狗搜索的微信公众号爬虫
最近公司有这方面需求,在网上找了一些爬虫,使用了一段时间之后发现很多没解决验证码和cookie这两个很头疼的问题。 于是想到了PhantomJS和webdriver,Headless浏览器,虽然PhantomJS看不到显…