Python小记：selenium+PhantomJS爬虫解决页面js添加cookie

2019年5月19日 285次阅读 来源: Utopi_a

爬到了一个无比纠结的网站，爬虫遇到了阻碍，从页面直接浏览的时候几乎感觉不出来什么，但是直接使用爬虫访问该网站会出现如下问题：

[scrapy] DEBUG: Crawled (521)

最开始是以为爬虫被识别出来所以被阻拦了，但是header各种伪装都试过了，但是依旧被拦截，各种苦恼之后，无意中刷新页面卡了一下，才从chrom中间看到使用浏览器正常访问也会出现一个521的错误。。。对，一般的爬虫框架或者是使用urllib都会在遇到5开头的错误状态后抛出错误，但是不会返回报文体或者执行后续的callback，于是爬虫就这样终止了。

首先得让爬虫处理错误，如果使用scrapy就在settings里面加入一行如下代码,将521错误添加到允许执行的编码内

HTTPERROR_ALLOWED_CODES= [521]

这样爬虫不会忽略521错误的返回，而是继续调用回调函数。对于使用urllib2的情况可以使用try：exceptHTTPError,e：来接受返回的错误报文。

通过以上方法忽略错误的之后可以得到返回的报文体，是一段如下的惊人js：

var dc = "";
var t_d = {
    hello: "world", t_c: function (x) {
        if (x === "")return;
        if (x.slice(-1) === ";") {
            x = x + " ";
        }
        ;
        if (x.slice(-2) !== "; ") {
            x = x + "; ";
        }
        ;
        dc = dc + x;
    }
};
(function (a) {
    eval(function (p, a, c, k, e, d) {
        e = function (c) {
            return (c < a ? "" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
        };
        if (!''.replace(/^/, String)) {
            while (c--)d[e(c)] = k[c] || e(c);
            k = [function (e) {
                return d[e]
            }];
            e = function () {
                return '\\w+'
            };
            c = 1;
        }
        ;
        while (c--)if (k[c])p = p.replace(new RegExp('\\b' + e(c) + '\\b', 'g'), k[c]);
        return p;
    }('b d=[3,5,4,6,0,2,1];b o=[];b p=0;g(b i=d.c;i--;){o[d[i]]=a[i]}o=o.m(\'\');g(b i=0;i<o.c;i++){l(o.q(i)===\';\'){s(o,p,i);p=i+1}}s(o,p,o.c);j s(t,r,n){k.h(t.y(r,n))};w("f.e=f.e.v(/[\\?|&]u-x/, \'\')",z);', 36, 36, '|||||||||||var|length||href|location|for|t_c||function|t_d|if|join||||charAt||||captcha|replace|setTimeout|challenge|substring|1500'.split('|'), 0, {}));
})(['|gMKn7WE1X5yhK2iRQ%2BuBd6yeqz', 'at, 05-Dec-15 09:5', 's%3D;Expires=S', '8:18 GMT;Path=/;', '__jsl_cle', '898.818|0', 'arance=1449305']);
document.cookie = dc;

个人对js还是比较熟悉的，研究了一下，这段代码的作用就是生成一个cookie存到浏览器中，并且刷新浏览器，但是在执行中部分代码是通过eval来执行字符串中打乱的动态js，这样就基本断绝了我想用Python来模拟这段js的想法，因为我没有办法分析动态生成的js生成Python。

这种情况只能用本地的js引擎来解析代码得到cookies了，现在比较多的大概是寄予v8的Pyv8个人比较喜欢但是无奈配置环境太坑还需研究，就选择了selenium+PhantomJS，环境配置见上一篇文章。

具体使用的时候上来就踩了一个坑，我原来的想法是是用phantomjs来模拟浏览器访问首页得到cookie然后再传递给爬虫来进行访问，但是失败了，可能服务器端对端口号做了记录，毕竟这是两个不同的程序。于是采用了第二种方法，获取js后修改部分写入文件通过shell调用phantomjs执行输出cookie，Python接收返回的cookie后再进行访问，试验后成功，关键代码如下：

def getSession(self, response):
        f = open('getcookie.js', "w+")
        # 重构js
        js = response.body
        js = str(js).replace("<script>", '')
        js = js.replace("</script>", '')
        js = js.replace("document.cookie=dc", 'console.log(dc);phantom.exit()')
        f.write(js)
        f.close()
        # 获取js执行得到的cookie
        status, output = commands.getstatusoutput('phantomjs getcookie.js')

        # 重构cookie格式化
        cookielist = output.split("; ")
        cookie = {}
        for sel in cookielist:
            Sel = sel.split("=")
            if len(Sel) > 1:
                cookie.setdefault(Sel[0], Sel[1])

        while self.num < self.max_num:
            self.num += 1
            yield Request("http://zhixing.court.gov.cn/search/detail?id=" + str(self.num)
                          , headers=self.headers
                          , cookies=cookie)
    原文作者：Utopi_a
    原文地址: https://www.jianshu.com/p/11fac0596020
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞