Краулер фронтенда cheerio&&puppeteer

рептилия

предисловие

Недавно я работал над небольшим программным проектом и мне нужно было сканировать сторонние данные, поэтому я начал снова браться за краулер.На самом деле фронтенд краулер очень прост в реализации, но т.к. веб-страница сейчас, я начал наступать на яму, как сумасшедший Успокоить вас всех.

Общие данные сканирования веб-сайтов --cheerio

Очень просто, набор инструментов, несколько строк кода для решения

const $ = require('cheerio')
const requestPromise = require('request-promise')
const url = 'https://juejin.cn/books';
requestPromise(url)
    .then((html) => {
        // 利用 cheerio 来分析网页内容，拿到所有小册子的描述
        const books = $('.info', html)
        let totalSold = 0
        let totalSale = 0
        let totalBooks = books.length
        // 遍历册子节点，分别统计它的购买人数，和销售额总和
        books.each(function () {
            const book = $(this)
            const price = $(book.find('.price-text')).text().replace('￥', '')
            const count = book.find('.message').last().find('span').text().split('人')[0]
            totalSale += Number(price) * Number(count)
            totalSold += Number(count)
        })

        // 最后打印出来
        console.log(
            `共 ${totalBooks} 本小册子`,
            `共 ${totalSold} 人次购买`,
            `约 ${Math.round(totalSale / 10000)} 万`
        )

    })

но. . . Однако в приведенном выше примере невозможно выполнить сканирование слепков, потому что слепки — это классический SPA, а сервер возвращает только пустой узел монтирования без данных. Так что приведите к безголовому кукловоду браузера

Сканирование страницы SPA --puppeteer

const $ = require('cheerio');
const puppeteer = require('puppeteer');
const url = 'https://juejin.cn/books';

async function run(params) {
    //打开一个浏览器
    const browser = await puppeteer.launch();
    // 打开一个页面
    const page = await browser.newPage();
    await page.goto(url, {
        waitUntil: 'networkidle0'
    });
    const html = await page.content();
    const books = $('.info', html);
    let totalSold = 0
    let totalSale = 0
    let totalBooks = books.length
    // 遍历册子节点，分别统计它的购买人数，和销售额总和
    books.each(function () {
        const book = $(this)
        const price = $(book.find('.price-text')).text().replace('￥', '')
        const count = book.find('.message').last().find('span').text().split('人')[0]
        totalSale += Number(price) * Number(count)
        totalSold += Number(count)
    })

    // 最后打印出来
    console.log(
        `共 ${totalBooks} 本小册子`,
        `共 ${totalSold} 人次购买`,
        `约 ${Math.round(totalSale / 10000)} 万`
    )

}
run()

Просканируйте данные страницы брошюры следующим образом.

Категории