网络爬虫-POST请求示例

POST请求比较常见的一种情况就是用户名密码登陆情况,这里介绍一种用程序登陆豆瓣账号的流程。
《网络爬虫-POST请求示例》 

在豆瓣需要我们输入用户名密码,才能获得我们用户里面相关的数据。那么我们通过POST方式传给服务器的数据在哪里呢?与GET方式一样,我们可以在Chrome浏览器中查看请求头,在里面可以看到Form Data,很自然可以看到我们在页面输入的用户名密码。
《网络爬虫-POST请求示例》

登陆之后,我们就可以获得与用户相关的页面。因为是POST方式,浏览器的url并没有跳转到其他,仍然与登陆之前一样,但是页面内容,却发生了变化。
《网络爬虫-POST请求示例》 

在编写网络爬虫的时候,我们只需要把与用户相关的数据给程序就可以了,对于豆瓣来说,关键就是form_email和form_password两个字段,这样通过下面程序来实现。
《网络爬虫-POST请求示例》

打印出来的内容,大家可以看看是不是登陆后页面的网页源代码呢?

楚江数据是一家专业的互联网数据技术服务商,提供网站APP数据采集和爬虫软件微博爬虫定制开发服务,服务范围涵盖社交网络、电子商务、分类信息、学术研究等。网站 http://www.chujiangdata.com

转载请注明:宁哥的小站 » 4. 网络爬虫-POST请求示例

    原文作者:楚江数据
    原文地址: https://segmentfault.com/a/1190000008612079
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞