难道爬虫只能用
python
做? 不,我们上天的
Node.js
也可以做!
需要准备的包
-
Node.js
的最新版本 下载地址 Node.js官网 -
npm
包管理器下载 下载最新的官网版本Node.js
会自带npm
-
npm
的第三方包puppeteer
在对应的js文件内运行命令行工具npm i puppeteer -D
即可
-
爬虫在获取某些有保护机制的网页时可能会失效
初入江湖 -自在地境篇
const puppeteer = require('puppeteer'); // 引入依赖
(async () => { //使用async函数完美异步
const browser = await puppeteer.launch(); //打开新的浏览器
const page = await browser.newPage(); // 打开新的网页
await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页
const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址
let arr = []; //这个箭头函数内部写处理的逻辑
const imgs = document.querySelectorAll('img');
imgs.forEach(function (item) {
arr.push(item.src)
})
return arr
});
// '此时的result就是得到的爬虫数据,可以通过'fs'模块保存'
})()
复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了
这个
puppeteer
的包 ,其实是替我们开启了另一个浏览器,重新去开启网页,获取它们的数据。
潇洒入世 -逍遥天境篇
- 上面只爬取了京东首页的图片内容,假设我的需求进一步扩大,需要爬取京东首页
中的所有<a> 标签对应的跳转网页中的所有 title的文字内容,最后放到一个数组中
。
- 我们的
async
函数上面一共分了五步, 只有puppeteer.launch()
,
browser.newPage()
, browser.close()
是固定的写法。
-
page.goto
指定我们去哪个网页爬取数据,可以更换内部url地址,也可以多次
调用这个方法。
-
page.evaluate
这个函数,内部是处理我们进入想要爬取网页的数据逻辑
-
page.goto
和page.evaluate
两个方法,可以在async
内部调用多次,
那意味着我们可以先进入京东网页,处理逻辑后,再次调用page.goto
这个函数,
注意,上面这一切逻辑,都是
puppeteer
这个包帮我们在看不见的地方开启了另外一个浏览器,然后处理逻辑,所以最终要调用
browser.close()
方法关闭那个浏览器。
- 这时候我们对上一篇的代码进行优化,爬取对应的资源。
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.jd.com/');
const hrefArr = await page.evaluate(() => {
let arr = [];
const aNodes = document.querySelectorAll('.cate_menu_lk');
aNodes.forEach(function (item) {
arr.push(item.href)
})
return arr
});
let arr = [];
for (let i = 0; i < hrefArr.length; i++) {
const url = hrefArr[i];
console.log(url) //这里可以打印
await page.goto(url);
const result = await page.evaluate(() => { //这个方法内部console.log无效
return $('title').text(); //返回每个界面的title文字内容
});
arr.push(result) //每次循环给数组中添加对应的值
}
console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地
await browser.close()
})()
上面有天坑 page.evaluate函数内部的console.log不能打印,而且内部不能获取外部的变量,只能return返回,
使用的选择器必须先去对应界面的控制台实验过能不能选择DOM再使用,比如京东无法使用querySelector。这里由于
京东的分界面都使用了jQuery,所以我们可以用jQuery,总之他们开发能用的选择器,我们都可以用,否则就不可以。
威震武林 -神游玄境篇
数据在这个时代非常珍贵,上面两个能获取一些指定的特定资源,按照网页的设计逻辑,选定特定的
href
的地址,可以先直接获取对应的资源,也可以通过再次使用
page.goto
方法进入,再调用
page.evaluate()
处理逻辑。这里就不做过多介绍了,毕竟
Node.js
是可以上天的,或许未来它真的什么都能做。这么优质简短的教程,请收藏或者转发给您的朋友,谢谢。