媒介
周末本身在家闲着没事，刷着微信，玩着手机，发明本身的微信头像该换了，就去网上找了一下头像，看着图片，本身就想着作为一个码农，能够把这些图片都爬取下来做成一个微信小顺序，说干就干，相识一下基础都晓得怎样做了，整顿分享一波给人人。
目次：
- 装置node，并下载依靠
- 搭建效劳
- 要求我们要爬取的页面，返回json
装置node
我们最先装置node，能够去node官网下载node下载地点，下载完成后运转node运用，
node -v装置胜利后会涌现你所装置的版本号。
接下来我们运用node, 打印出hello world，新建一个名为index.js文件输入console.log('hello world')
运转这个文件
node index.js就会在控制面板上输出hello world
搭建效劳器
新建一个·名为node的文件夹
起首你须要下载express依靠
npm install express 在新建一个名为demo.js的文件
目次构造如图：
在demo.js引入下载的express
const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("运用实例，接见地点为 http://%s:%s", host, port)
})运转node demo.js简朴的效劳就搭起来了，如图：
要求我们要爬取的页面
起首下载须要的依靠
npm install superagent
npm install superagent-charset
npm install cheeriosuperagent 是用来提议要求的，是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依靠nodejs原生的要求api,适用于nodejs环境下.，也能够运用http提议要求
superagent-charset防备爬取下来的数据乱码，变动字符花样
cheerio为效劳器迥殊定制的，疾速、天真、实行的jQuery中心完成.。
装置完依靠就能够引入了
var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');引入以后就要求我们的地点，https://www.qqtn.com/tx/weixi…
const baseUrl = 'https://www.qqtn.com/'这些设置完以后就是发要求了，接下来请看完全代码demo.js
var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //输入任何网址都能够
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
//设置要求头
res.header("Access-Control-Allow-Origin", "*");
res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
res.header("Access-Control-Allow-Headers", "X-Requested-With");
res.header('Access-Control-Allow-Headers', 'Content-Type');
//范例
var type = req.query.type;
//页码
var page = req.query.page;
type = type || 'weixin';
page = page || '1';
var route = `tx/${type}tx_${page}.html`
//网页页面信息是gb2312，所以chaeset应该为.charset('gb2312')，平常网页则为utf-8,能够直接运用.charset('utf-8')
superagent.get(baseUrl + route)
.charset('gb2312')
.end(function(err, sres) {
var items = [];
if (err) {
console.log('ERR: ' + err);
res.json({ code: 400, msg: err, sets: items });
return;
}
var $ = cheerio.load(sres.text);
$('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
var $element = $(element);
var $subElement = $element.find('img');
var thumbImgSrc = $subElement.attr('src');
items.push({
title: $(element).attr('title'),
href: $element.attr('href'),
thumbSrc: thumbImgSrc
});
});
res.json({ code: 200, msg: "", data: items });
});
});
var server = app.listen(8081, function() {
var host = server.address().address
var port = server.address().port
console.log("运用实例，接见地点为 http://%s:%s", host, port)
})运转demo.js就会返回我们拿到的数据，一个简朴的node爬虫就完成了，如图：
愿望能够到 项目node爬虫 上点一个 star 作为你对这个项目的承认与支撑，感谢。
