Практика веб-краулера Java (1)

Java рептилия RxJava

Привет всем, когда дело доходит до сканеров, я думаю, что многие программисты слышали об этом.Короче говоря, это программа, которая автоматически собирает информацию в Интернете в пакетах. Далее я продемонстрирую NetDiscovery, платформу сканера на github.

NetDiscovery

1) Зачем использовать фреймворк?

Фреймворки могут помочь нам справиться с базовыми задачами, не связанными напрямую с целевой задачей, позволяя нам сосредоточиться на целевой задаче. Специально для новичков в краулерах они могут быстро осознать эффект и ощущение достижения от работы с краулером, не беспокоясь о дополнительных вещах. После того, как вы войдете в дверь, попробуйте написать программу-краулер с нуля, не полагаясь на фреймворк, а затем изучите фреймворк, созданный другими. некоторые исследования веб-краулера.

2) Демонстрационная среда

Java JDK8, IntelliJ IDEA, Google Chrome

Среда сканирования NetDiscovery:GitHub.com/Zonda71…

3) Определите задачу сканера

Получите указанную информацию о вакансии на веб-сайте по подбору персонала: название компании, должность.

4) Веб-страница анализа человеческой плоти

Откройте целевую веб-страницу в браузере Chrome, введите критерии запроса и найдите веб-страницу с информацией о вакансии:

网页信息

Текст в красном поле — это информация, которую мы планируем написать для автоматического получения программы.

Анализ этой ссылки очень важен, и нам необходимо иметь четкое представление о целевой веб-странице и целевых данных, которые мы сканируем. Человеческий глаз уже может видеть эту информацию, и следующим шагом будет написание программы, которая научит компьютер помогать нам ее улавливать.

5) Создайте проект Java

Создайте java-проект gradle:

创建Java工程

build.gradle

Добавьте в проект два jar-пакета краулер-фреймворка NetDiscovery, Текущая версия — 0.0.9.3, версия невысокая, но итерация обновления версии происходит очень быстро, и считается, что это растущая структура.

group 'com.sinkinka'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
    mavenCentral()
    jcenter();
}

dependencies {
    testCompile group: 'junit', name: 'junit', version: '4.12'

    implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
    implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
}

Если вы не можете загрузить его, добавьте адрес образа Alibaba Cloud:

maven.aliyun.com/Nexus/conte…

6) Реализация кода

Пример кода под примером модуля в эталонном фрейме и еще один пример проекта:GitHub.com/Zonda71…

  • Создайте класс входа основного метода и запустите искатель в основном
  • Для анализа целевой веб-страницы вам необходимо создать класс, реализующий интерфейс парсера.
  • Существует много способов получить целевой контент из строки html, например, xpath, jsoup, регулярные выражения и т. д.

Напишите следующий код в основном методе java:

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.TestParser;

public class TestSpider {
    public static void main(String[] args) {

        //目标任务的网页地址，可以拷贝到浏览器去查看
        String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";

        //依靠NetDiscovery，我们只需要写一个parser类就可以实现基本的爬虫功能了
        Spider.create()
                .name("spider-1")         //名字随便起
                .url(url)
                .parser(new TestParser())  //parser类
                .run();
    }
}

Код класса TestParser:

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;

/**
 * 针对目标网页的解析类
 */
public class TestParser implements Parser {

    @Override
    public void process(Page page) {

        String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
        List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();

        for(Selectable tr : trList) {
            String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
            String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();

            if(null != companyName && null != positionName) {
                System.out.println(companyName+"------"+positionName);
            }
        }
   }
}

результат операции:

运行结果

7) Резюме

Эта статья опирается на платформу сканера, чтобы продемонстрировать метод сканирования информации веб-страницы с помощью простейшего возможного кода. Более практическое содержание будет выпущено в будущем для вашего ознакомления.

Базовая принципиальная диаграмма среды сканера NetDiscovery

NetDiscovery

Следующий:Практика веб-краулера Java (2)

Категории