Этот проект появился совсем недавно. Я должен вернуться к этому проекту еще раз, а затем потратить некоторое время сегодня, чтобы проанализировать его.Этот сайт часто пересматривается, что является головной болью.
Я также хотел бы поблагодарить сообщение в блоге здесь, Это было его начало, которое дало мне представление о том, как ползать.
А вот и Китай с открытым исходным кодом:Токен интерфейса Тяньянча, приобретение _utm
Новая версия Тяньянчи, беда в том, что есть проблема с логином Auth, а так же проблема с правами, и много данных не совпадает с вышеперечисленным, можно напрямую все сразу получить.Моя первая версия использовалась mysql, но эта версия ж. Я планирую использовать MongoDB для кэширования и записи в mysql.
Первым делом нужно проанализировать ввод логина: Во-первых, когда мы логинимся здесь
Подождите, пока бродяга вернет информацию и сохранит ее в файлах cookie.
static.Sky Eyes.com/Web-require…
В этом js вы можете получить информацию об операции входа в систему
Вполне возможно, что здесь используется то, что ContentType должен быть application/json, а почтовый запрос
Требуемые файлы cookie интересны? ?
Да, это использовать последний запрос, чтобы дать следующий ключ.
Таким образом можно получить практически всю информацию на странице
Затем он дополнительно анализируется здесь, то есть приведенный выше json возвращается и содержит такую информацию, как auth_token.
Другой
Проблема с пагинацией здесь.
Если вы нажмете напрямую, он сообщит об ошибке 403.
столкнуться с этой проблемой
Также замените два параметра _csrf и _csrf_bk из запроса на загрузку.
csrfToken практически не изменился.
Затем есть еще один массив, код для анализа которого таков:
_sgAttr
его положение
такие URL
Почти все ваши потребности могут быть удовлетворены здесь, а остальное зависит от того, как вы пишете парсинг страницы.