Nodejs Начало работы Основы, скручиваемость яиц GET и POST запросы

Node.js
Первая статья статьи: Сегодняшний Toutiaohttps://www.toutiao.com/i6805073960447771144/

Когда мы изучаем nodejs, я думаю, что проще всего учиться у краулера. Ведь когда мы работаем над проектом, анализировать без данных непросто.

Здесь я применил фреймворк для яйца.Если вы не знакомы с яйцом, вы можете проверить официальную документацию, поэтому я не буду его здесь представлять.
Начнем с запроса CURL:
curl — это распространенный инструмент командной строки, используемый для запроса веб-серверов. Его имя является значением клиентского (клиентского) URL-инструмента.

Он очень мощный, с десятками параметров командной строки. Если вы опытны, вы можете полностью заменить инструменты графического интерфейса, такие как Postman.

Без каких-либо параметров curl по умолчанию по умолчанию используется запрос на получение;

curl https://www.example.com
Метод запроса получения яйца:

this.ctx.curl(url, option)
url: конечно адрес запроса
option:
method
Способ запроса, по умолчанию может получить. Можно получить, пост, удалить или поставить
data
Данные для отправки. Таргетинг
dataType
Строка — тип данных ответа. может быть текст или json
headers
заголовки запроса
timeout
Истекло время запроса
auth
имя пользователя: пароль используется в базовой авторизации HTTP
followRedirect
Следуйте ответам HTTP 3xx как перенаправлениям. Значение по умолчанию — ложь
gzip
Позволяет получить объект res при запросе соединения, по умолчанию false
nestedQuerystring
urllib использует строку запроса по умолчанию для преобразования данных формы в строку, которые не поддерживают вложенные объекты. Если установить для этого параметра значение true, вложенные объекты будут поддерживаться с использованием qs вместо строки запроса.
Если в результате запроса возвращаются данные json, необходимо указать тип данных

this.ctx.curl('https://www.example.com', {dataType: 'json'})
Тогда полный запрос на получение/отправку будет

this.ctx.curl('https://www.example.com', {
  method: 'GET/POST',
  dataType: 'json',
  headers: {
       token: 'xxx'  
  },
  data: {
    id: 1
  }
  ...
})
Стоит отметить, что данные, которые мы запрашиваем, — это все тело сети, а данные, которые нам действительно нужны, — это тело веб-страницы в данных.
После освоения curl-запроса можно захватывать данные, а как анализировать захваченные данные, решать только вам.


Категории