Java爬虫实在也很简单，有用的入门级爬虫

2019年8月22日 149次阅读 来源: 楠宝宝

媒介

任何言语都是能够爬虫的，只需你懂的经常使用的http协定啥的就能够模仿浏览器的行动猎取你想要的数据。这里我将教人人一个简朴有用的案例：怎样猎取全民K歌的下载链接。
ps: 这主如果教人人一个入门级的爬虫，不是愿望人人去跳过vip下载…
这里有码云的代码片断是main的剖析能够参考下： 码云代码片断

浏览器抓包

那种专业fildder这类软件抓包我就不提了，以免文章显得越发复杂化。
引荐用谷歌浏览器轻易看。

1.翻开浏览器进去一个分享链接

2.按F12进入开发者形式

3.点击NetWork

4.最好从新革新一下页面看下一切接见途径

《Java爬虫实在也很简单，有用的入门级爬虫》

只需是网页浏览器就能够抓到一切的接见要求。接下来就是寻觅谁人音乐的链接了：
《Java爬虫实在也很简单，有用的入门级爬虫》
等你找到你会发明很显然，谁人途径没有任何规律，也不晓得下载途径怎样而来。然则只需头脑不滑坡，方法总比难题多。我们找一下是不是能够在HTML这些直接找到现成的链接,音乐的播放标签平常都是 audio
我们去Element查找这个节点的时刻能够发明确切有下载链接
《Java爬虫实在也很简单，有用的入门级爬虫》
如许我们也许晓得链接的地点了！我们就能够放开手撸代码了！

尝试撸代码

这里我引荐用Jsoup，我用的是版本是1.11.2。

maven：
http://www.mvnrepository.com/…

public class QuanMinJousp {
    public static void main(String[] args)throws Exception {    
        //这里是分享地点：
        String url  ="https://kg2.qq.com/node/play?s=571cI75H1xb495Eq&shareuid=609c9b812624338a&topsource=a0_pn201001006_z11_u21643941_l0_t1534223843__";
        Connection tempConn = Jsoup.connect(url);
        //模仿浏览器的要求头
        tempConn.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
        //最先衔接HTTP要求。
        Connection.Response demo = tempConn.ignoreContentType(true).method(Connection.Method.GET)
                .execute();
        Document documentDemo = demo.parse();
                //这里就是猎取该页面的HTML元素。
        System.out.println(documentDemo.toString());
       }
}

打印出来的HTML不出所料，就找不到audio的标签，很明显是后续才加载出这个标签来播放音乐的。那这个下载地点是哪里来的呢。我们能够在打印出来的HTML能够找到其他线索：
不出所料，在一切script标签中 的第三个我们发明了猫腻。
《Java爬虫实在也很简单，有用的入门级爬虫》

一切的数据都在这个标签里，包含批评，送花，歌曲链接等等一切都在内里。我们拿到标签里的内容就能够了。内里的参数竟然是规范的json花样越发天助我也！我们用代码去掉闲杂人等。

        Elements scriptElements = documentDemo.getElementsByTag("script");
        String initScriptStr = scriptElements.get(2).toString();
        String jsonStr = initScriptStr.substring(initScriptStr.indexOf("{"), initScriptStr.indexOf("; </script>"));
        //这就取得一切参数终究的json体了。
        System.out.println(jsonStr);

接下来就是Json剖析成本身的实体类对象啥的了。这块没啥好说的，不是我们的教程局限。我平常用的simpleJson，gson，fastJson。阿里巴巴的我用的多一点。

末了我把这段代码功用接入我的微信民众号完成结果：

《Java爬虫实在也很简单，有用的入门级爬虫》

小伙伴们能够关注民众号体验一波：
《Java爬虫实在也很简单，有用的入门级爬虫》

完毕

该教程仅供进修参考，不触及贸易，触及侵权啥的任何问题本人概不负责啊哈哈哈哈哈略略略

    原文作者：楠宝宝
    原文地址: https://segmentfault.com/a/1190000016005760
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞