Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载

上一篇文章提到了使用Selenium模拟操作进行下载的一些缺点,包括文本框输入令人抓狂等等,这一篇文章将介绍使用Cookies免登录、抓包分析来进行下载、查询等功能。

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 成功的效果图

喂喂!你丫这也算司机?????

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》

且慢且慢,这一条下载成功看似软弱无力宛若咸鱼,实则大智若愚,是通过Python发送数据包下载而来,并不是常人的操作,可大有所为!
本文分为以下几个部分

  • 自动登录——Cookies
    自动登录的原理与抓包分析
  • Python自动登录网盘
    自动登录部分的测试
  • 查询磁力链接、下载与状态查询抓包
    后续部分的抓包分析
  • 整体实现与缺点
    整体代码及需要改进的地方

自动登录——Cookies

Cookie,有时也用其复数形式 Cookies,指某些网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 自动登录

这是百度登录界面,勾选之后我们每次输入pan.baidu.com都能自动进入到自己的网盘界面,都是
Cookies

的功劳啦。所以我们只要拿到登录之后的Cookies,不就直接告诉网站“就是你大爷我!”,进而实现免登录了吗?

Cookies的获取

登陆之后F12控制台切换至Network开始抓包,新建一个磁力链接并下载,我们来观察一下抓到的包。

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 抓到的包

嘿嘿,右下角的数据(上面的Query String Parameters则是从POST的URL中提取出来的)已经告诉我们这个query_magnetinfo是如何查询磁力链接信息的了,构造一个包,包含磁力链接和保存地址save_path即可。然而上面的
bdstoken
logid需不需要呢?我实验的过程中费了好大的周折给搞出来,最后却发现并不需要这两个玩意儿QAQ!所以大家测试其他网站的时候只加上自己觉得必要的,失败再接着加参数就好。

接着看上面的信息,

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 Cookies:我才是主角啊!

我们就把这一大段文本给复制下来备用。
(为什么非要是这个包的Cookies呢?……因为发现后续抓的包Cookies都是它……)

Python自动登陆网盘

先构造一个Header

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 header

然后发送出去查看效果

    # 登录需要POST一个包,其中包含帐号信息的Cookie
    def login(self):
        self.loginurl="http://pan.baidu.com/disk/home"
        try:
            req = urllib.request.Request(self.loginurl, headers=self.headers)
            sourcecode = urllib.request.urlopen(req)
        except Exception as e:
            print('Error ', str(e))
        else:
            #如果出现该字眼说明登录成功
            htmlcode=(sourcecode.read().decode())
            print(htmlcode)
            if(htmlcode.find('initPrefetch')!=-1):
                print('OK!')

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 返回的源代码 说明登陆成功

显示的是登录成功之后的网盘部分的Html代码,说明登录成功啦。

查询磁力链接、下载与状态查询抓包

我们接着来抓包了哈。和上面一小节是同样的方法,需要关注的地方包括:

  • POST的URL(即图中的Query String Parameters)
  • 包的数据(Form Data)
  • 网页的回应

依次查看自己觉得可疑的包,下面我们逐个来分析啦。

query_magnetinfo 查询磁力链接

上一小节query_magnetinfo的Response如下:

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 网页中返回的Response

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 Python中返回的消息

还有
文件大小呢!

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 size
《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 query_magnetinfo包的Response

Add_task 添加下载任务

比较重要的信息已经用红框标注出来嘞

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 Request

主要需要确定selected_index,我们需要下载哪些文件呢?

嘿嘿,上面不是有
size返回给我们了吗!大的就是视频文件了!

添加任务成功的情况:

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 成功会返回task_id

添加失败:

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 咳咳,你懂的

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 需要验证码

总之,返回
task_id就是成功了!

list_task和query_task

这两个感觉是差不多的包,返回的信息都是关于任务进度的信息。

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 list_task
《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 query_task(还记得add_task里返回的task_ids吗)

于是我找了不同类型的任务观察query_task(list_task也行)返回的信息。

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 这是界面上显示的信息

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》 这是包里面返回的信息

嗯!就是说
Status为0就是成功了!

整体实现与缺点

整体代码在这里!
baidudisk_github
不想点开的就看下面啦。



#! -*- coding:utf-8 -*-
# 本模块用来离线下载资源到网盘
import urllib.request
import urllib.parse
import json
import execjs

class bdsaver:
    def __init__(self,cookie):
        self.cookie = cookie
        self.headers = {
            'Host': 'pan.baidu.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Referer': 'http://pan.baidu.com/',
            'Cookie': self.cookie,
            'Connection': 'keep-alive'
        }

    # 登录需要POST一个包,其中包含帐号信息的Cookie
    def login(self):
        self.loginurl="http://pan.baidu.com/disk/home"
        try:
            req = urllib.request.Request(self.loginurl, headers=self.headers)
            sourcecode = urllib.request.urlopen(req)
        except Exception as e:
            print('Error ', str(e))
        else:
            #如果出现该字眼说明登录成功
            htmlcode=(sourcecode.read().decode())
            print(htmlcode)
            if(htmlcode.find('initPrefetch')!=-1):
                print('OK!')
    def query(self,magneturl):
        self.magneturl=magneturl
        self.headers = {
            'Host': 'pan.baidu.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0',
            'Accept': 'application/json, text/javascript, */*; q=0.01',
            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
            'Referer': 'http://pan.baidu.com/disk/home?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0',
            'Cookie': self.cookie,
            'Connection': 'keep-alive',
            'Pragma': 'no - cache',
            'Cache - Control': 'no - cache',
        }

        self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&clienttype=0'
        self.data ={
            'method': 'query_magnetinfo',
            'app_id': '250528',
            'source_url':self.magneturl ,
            'save_path': '/',
            'type': '4'
        }
        req = urllib.request.Request(self.queryurl, headers=self.headers, data=urllib.parse.urlencode(self.data).encode(encoding='UTF8') )
        sourcecode = urllib.request.urlopen(req)
        result=(sourcecode.read().decode('unicode_escape'))
        print(result)
        result=json.loads(result)['magnet_info']
        download_list=''
        for i in range(len(result)):
            #文件大于50MB
            if (int(result[i]['size'])>1024*1024*50):
                download_list=download_list+str(i+1)+','
        if download_list!='':
            return download_list
        else:
            return '1'
    def save(self,selidx):
        # self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&bdstoken=efbd0c8c5eb658ea804bea857c9ad213&clienttype=0'
        self.queryurl = 'http://pan.baidu.com/rest/2.0/services/cloud_dl?channel=chunlei&web=1&app_id=250528&clienttype=0'
        self.data = {
            'method': 'add_task',
            'app_id': '250528',
            'save_path': '/',
            'selected_idx': selidx,
            'task_from': '1',
            'source_url':self.magneturl ,
            # 't':'1501251100480'
        }
        req = urllib.request.Request(self.queryurl, headers=self.headers,
                                     data=urllib.parse.urlencode(self.data).encode(encoding='UTF8'))
        sourcecode = urllib.request.urlopen(req)
        print(sourcecode.read().decode('unicode_escape'))



if __name__ == '__main__':
    #填入自己截获到的cookies
    bdtest = bdsaver(cookie='')
    bdtest.login()
    dllist=bdtest.query(magneturl='magnet:?xt=urn:btih:459E0DD6DCE56845BE3C72368797481F0B8C0216&xl=3391547763&dn=%E7%94%9F%E5%8C%96%E5%8D%B1%E6%9C%BA%E7%B3%BB%E5%88%97%E4%B8%89%E9%83%A8+%E7%94%9F%E5%8C%964%E9%A2%84%E5%91%8A%E7%89%87')
    bdtest.save(dllist)

相比上一部分文章的Selenium,优点自然是再也不用那么慢的输入文本了,也不用管它页面有没有跟上速度,但缺点却依然还在!那就是万恶的验证码

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》

不过!似乎百度网盘的客户端并不需要验证码,于是又一个大胆的想法萌生了……

欢迎关注下一篇文章:
Python实现电影排行榜自动网盘下载(番外)Pywinauto操纵网盘客户端批量离线下载
(番外篇)Python操纵网盘客户端批量离线下载小电影

《Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载》

过往文章
网易云音乐评论抓取实验(1)接口获取
Python自动生成简书过往文章链接Markdown格式文本
Python实现电影排行榜自动网盘下载(4)Cookies免登录+抓包下载
Python实现电影排行榜自动网盘下载(3)Selenium离线下载
Python实现电影排行榜自动网盘下载(2)Scrapy深入 “打包员”“快递员”
Python实现电影排行榜自动网盘下载(1)Scrapy爬虫框架

    原文作者:Seeker_zz
    原文地址: https://www.jianshu.com/p/7535eff9aee2
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞