应用cheerio制造简朴的网页爬虫

1. 目的

• 完成对网站的题目信息猎取
• 将猎取到的信息输出在一个新文件
• 东西: cheerio，运用npm下载npm install cheerio
• cheerio的API运用方法和jQuery的运用方法基础一致
• 假如闇练运用jQuery，那末cheerio将会很快上手

2. 代码部份

引见: 猎取
segment fault页面的列表题目，将猎取到的题目列表编号，终究输出到
pageTitle.txt文件里

const https = require('https');
const fs = require('fs');
const cheerio = require('cheerio');
const url = 'https://segmentfault.com/';

https.get(url, (res) => {
    let html = '';
    res.on('data', (data) => {
        html += data;
    });
    res.on('end', () => {
        getPageTitle(html);
    });
}).on('error', () => {
    console.log('猎取网页信息毛病');
});

function getPageTitle(html) {
    const $ = cheerio.load(html);
    let chapters = $('.news__item-title');
    let data = [];
    let index = 0;
    let fileName = 'pageTitle.txt';
    for (let i = 0; i < chapters.length; i++) {
        let chapterTitle = $(chapters[i]).find('a').text().trim();
        index++;
        data.push(`\n${index}, ${chapterTitle}`);
    }
    fs.writeFile(fileName, data, 'utf8', (err) => {
        if (err) {
            console.log('fs文件体系建立新文件失利', err);
        }
        console.log(`已胜利将猎取到的题目放入新文件${fileName}文件中`)
    })
}