node: сканер сканирует веб-изображения

Node.js внешний интерфейс рептилия JavaScript

предисловие

Мне нечего было делать дома по выходным, листая WeChat, играя с мобильным телефоном, и я обнаружил, что мой аватар в WeChat должен быть изменен, поэтому я пошел в Интернет, чтобы найти аватар, посмотрел на картинки и подумал, что как code farmer, я мог бы выложить эти картинки. Сполз и сделал апплет WeChat, просто делай, что говоришь, знаешь, как это делать в основном, организовывай и делись этим со всеми.

содержание

  • Установите узел и загрузите зависимости
  • Сервис сборки
  • Запросить страницу, которую мы хотим просканировать, и вернуть json

установить узел

Мы начинаем устанавливать узел, вы можете перейти на официальный сайт узла, чтобы скачатьnodejs.org/zh-cn/, после завершения загрузки запустите узел для использования,

node -v

После успешной установки появится номер версии, которую вы установили.

Затем мы используем узел, распечатываем hello world и создаем новый файл с именем index.js для ввода.

console.log('hello world')

запустить этот файл

node index.js

выведет hello world на панель управления

Построить сервер

Создайте новую папку с именем node.

Сначала вам нужно скачать экспресс-зависимости

npm install express

Создайте новый файл с именем demo.js Структура каталогов показана на рисунке:


Внесите загруженный экспресс в demo.js

const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
    var host = server.address().address
    var port = server.address().port
    console.log("应用实例，访问地址为 http://%s:%s", host, port)

})

Запуск простого сервиса node demo.js настроен, как показано на рисунке:


Запросить страницу, которую мы хотим просканировать

Запросить страницу, которую мы хотим просканировать

npm install superagent
npm install superagent-charset
npm install cheerio

суперагент используется для инициирования запросов. Это легкий, прогрессивный API-интерфейс ajax с хорошей читабельностью и низкой кривой обучения. Он полагается на собственный API запросов nodejs внутри. Он подходит для среды nodejs. Вы также можете использовать http для инициирования запросов

superagent-charset предотвращает сканирование искаженных данных и изменяет формат символов

cheerio — это специфичная для сервера, быстрая и гибкая реализация базовой реализации jQuery. После установки зависимостей их можно импортировать

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');

После вступления запросите наш адрес https://www.qqtn.com/tx/weixintx_1.html, как показано на рисунке:


Объявить адресную переменную:

const baseUrl = 'https://www.qqtn.com/'

После выполнения этих настроек запрос отправляется Далее смотрите полный код demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //输入任何网址都可以
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
    //设置请求头
    res.header("Access-Control-Allow-Origin", "*");
    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header('Access-Control-Allow-Headers', 'Content-Type');
    //类型
    var type = req.query.type;
    //页码
    var page = req.query.page;
    type = type || 'weixin';
    page = page || '1';
    var route = `tx/${type}tx_${page}.html`
    //网页页面信息是gb2312，所以chaeset应该为.charset('gb2312')，一般网页则为utf-8,可以直接使用.charset('utf-8')
    superagent.get(baseUrl + route)
        .charset('gb2312')
        .end(function(err, sres) {
            var items = [];
            if (err) {
                console.log('ERR: ' + err);
                res.json({ code: 400, msg: err, sets: items });
                return;
            }
            var $ = cheerio.load(sres.text);
            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
                var $element = $(element);
                var $subElement = $element.find('img');
                var thumbImgSrc = $subElement.attr('src');
                items.push({
                    title: $(element).attr('title'),
                    href: $element.attr('href'),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({ code: 200, msg: "", data: items });
        });
});
var server = app.listen(8081, function() {

    var host = server.address().address
    var port = server.address().port

    console.log("应用实例，访问地址为 http://%s:%s", host, port)

})

Запуск demo.js вернет полученные данные, как показано на рисунке:

Создан простой обходчик узлов. Я надеюсь, что вы можете щелкнуть звезду на проекте в знак признания и поддержки этого проекта, спасибо.

адрес проекта:GitHub.com/Mr-M_BO/R…



Категории