跟随与机械化和python的javascript链接

2019年7月21日 200次阅读

我正在做一些网络抓取,项目几乎完成,除了我需要点击一个
javascript链接,我无法弄清楚如何使用
Python和机械化.

在其中一个页面上,会出现一个javascript链接列表,我想依次关注它们,抓取一些数据,然后重复.我知道机械化不能与javascript一起工作,但有没有人知道一个变通方法？这是我用来隔离链接的代码：

for Auth in iterAuths:
     Auth = str(Auth.contents[0]).strip()
     br.find_link(text=Auth)

现在如果我做br.follow_link(text = Auth),我收到一个错误urllib2.URLError：< urlopen error unknown url type：javascript>.

如果我打印br.click_link(text = Auth’),它会打印为javascript请求：SendThePage(‘5660’)

我只需要通过javascript链接.有人可以帮忙吗？

最佳答案 当我需要做类似的事情时,我查看了我想要遵循的链接.

其中一些是使用javascript生成的静态链接.它们可预测/足够一致,我可以手动生成列表.

其他人只是用参数构建的URL.这些也可以在事先分析并生成python-side并作为请求传递,而不是“点击此链接”.

如果你需要实际执行javascript,你可以运行PyV8 Mechanize混合.我一直在玩这个,看起来很酷. PyV8将Python与V8 Javascript引擎连接起来,允许您创建JS环境并执行任意代码.它在两种语言之间来回传播方面做得很好.

我没有任何示例代码,但这3个解决方案中的一个对您有用:)祝您好运！

点赞