Научитесь использовать команду curl

Эксплуатация и обслуживание

представлять

  • команда скручиванияЭто инструмент для передачи файлов, который работает из командной строки с использованием правил URL. Он поддерживает загрузку и загрузку файлов, так что это комплексный инструмент для передачи, но по традиции curl называют инструментом для скачивания. Как мощный инструмент, curl поддерживает HTTP, HTTPS,ftpОн также поддерживает POST, файлы cookie, аутентификацию, загрузку частичных файлов с указанного смещения, строку пользовательского агента, ограничение скорости, размер файла, индикатор выполнения и другие функции. Для автоматизации обработки веб-страниц и извлечения данных может помочь curl.

Имитация запросов POST/GET

  • Предположим, целевой URL: 127.0.0.1:8080/login.
# 使用curl发送GET请求
$ curl http://127.0.0.1:8080/login?user=admin&passwd=12345678
# 使用curl发送POST请求
$ curl -d "user=admin&passwd=12345678" http://127.0.0.1:8080/login

Заголовки HTTP также можно отправлять с помощью curl, используйте -H «заголовки» для передачи нескольких заголовков.

$ curl -H "Content-Type:application/json" http://127.0.0.1:8080

Используйте опцию -O для записи загруженных данных в файл и используйте --progress для отображения индикатора выполнения

$ curl http://127.0.0.1:8080 -o file.txt --progress

установить куки

  • Используйте параметр --cookie "COKKIES", чтобы указать файлы cookie, несколько файлов cookie разделяются точкой с запятой.
$ curl http://127.0.0.1:8080 --cookie "user=root;pass=123456"

Чтобы сохранить файл cookie в виде файла, используйте параметр --cookie-jar.

$ curl http://127.0.0.1:8080 --cookie-jar cookie_file

Печатать только информацию заголовка ответа

  • С помощью -I или --head вы можете распечатать только информацию заголовка HTTP.
$  curl -I http://127.0.0.1:8080
# Accept-Ranges: bytes
# Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
# Connection: Keep-Alive
# Content-Length: 277
# Content-Type: text/html
# Date: Thu, 29 Nov 2018 03:13:16 GMT
# Etag: "575e1f7b-115"
# Last-Modified: Mon, 13 Jun 2016 02:50:35 GMT
# Pragma: no-cache
# Server: bfe/1.0.8.18

Установка строки User-Agent с помощью curl

  • Некоторые веб-сайты сообщают, что к ним можно получить доступ только с помощью браузера IE. Это связано с тем, что эти веб-сайты настроены на проверку пользовательского агента. Вы можете использовать curl, чтобы установить пользовательский агент для IE, чтобы вы могли получить доступ. Используйте опцию --user-agent или -A
$ curl http://www.baidu.com --user-agent "Mozilla/5.0"
$ curl http://www.baidu.com -A "Mozilla/5.0"

Более продвинутое использование

Категории