Kafka и websocket отправка данных в реальном времени

задняя часть внешний интерфейс Kafka WebSocket

необходимость

Служба Kafka уже существует, и данные службы Kafka (GPS) помещаются на локальный диск (хранятся в текстовом файле). Теперь нам нужно реализовать карту транспортных средств в реальном времени на основе электронных карт.

анализировать

  1. Отображение внешнего интерфейса в реальном времени: используйте технологию веб-сокетов для передачи данных на стороне сервера на внешний дисплей.
  2. Получите данные через клиент Java kafka и отправьте их на внешний интерфейс через websock.

websocket

Введение

websocket — это протокол, предоставляемый HTML5 для полнодуплексной связи по TCP-соединению устройства. В websocket api браузеру и серверу нужно сделать только одно рукопожатие, после чего между браузером и сервером формируется быстрый канал. Данные могут быть отправлены друг другу между ними.

развивать

  • Сервис-терминал
  package com.ykkj.weiyi.socket;
  import org.springframework.stereotype.Component;
  import org.springframework.web.socket.server.standard.SpringConfigurator;
  import javax.websocket.*;
  import javax.websocket.server.ServerEndpoint;
  import java.io.IOException;
  import java.util.concurrent.CopyOnWriteArraySet;

  /**
   * @ServerEndpoint 注解是一个类层次的注解，它的功能主要是将目前的类定义成一个websocket服务器端,
   * 注解的值将被用于监听用户连接的终端访问URL地址,客户端可以通过这个URL来连接到WebSocket服务器端
   */
  @ServerEndpoint(value = "/websocket")
  public class CommodityServer {
      //静态变量，用来记录当前在线连接数。应该把它设计成线程安全的。
      private static int onlineCount = 0;

      //concurrent包的线程安全Set，用来存放每个客户端对应的MyWebSocket对象。若要实现服务端与单一客户端通信的话，可以使用Map来存放，其中Key可以为用户标识
      public static CopyOnWriteArraySet<CommodityServer> webSocketSet = new CopyOnWriteArraySet<CommodityServer>();

      //与某个客户端的连接会话，需要通过它来给客户端发送数据
      private Session session;

      /**
       * 连接建立成功调用的方法
       *
       * @param session 可选的参数。session为与某个客户端的连接会话，需要通过它来给客户端发送数据
       */
      @OnOpen
      public void onOpen(Session session) {
          this.session = session;
          webSocketSet.add(this);     //加入set中
          addOnlineCount();           //在线数加1
          System.out.println("有新连接加入！当前在线人数为" + getOnlineCount());
      }

      /**
       * 连接关闭调用的方法
       */
      @OnClose
      public void onClose() {
          webSocketSet.remove(this);  //从set中删除
          subOnlineCount();           //在线数减1
          System.out.println("有一连接关闭！当前在线人数为" + getOnlineCount());
      }

      /**
       * 收到客户端消息后调用的方法
       *
       * @param message 客户端发送过来的消息
       * @param session 可选的参数
       */
      @OnMessage
      public void onMessage(String message, Session session) {
          System.out.println("来自客户端的消息:" + message);
          //群发消息
          for (CommodityServer item : webSocketSet) {
              try {
                  item.sendMessage(message);
              } catch (IOException e) {
                  e.printStackTrace();
                  continue;
              }
          }
      }

      /**
       * 发生错误时调用
       *
       * @param session
       * @param error
       */
      @OnError
      public void onError(Session session, Throwable error) {
          System.out.println("发生错误");
          error.printStackTrace();
      }

      /**
       * 这个方法与上面几个方法不一样。没有用注解，是根据自己需要添加的方法。
       *
       * @param message
       * @throws IOException
       */
      public void sendMessage(String message) throws IOException {
          this.session.getBasicRemote().sendText(message);
          //this.session.getAsyncRemote().sendText(message);
      }

      public static synchronized int getOnlineCount() {
          return onlineCount;
      }

      public static synchronized void addOnlineCount() {
          CommodityServer.onlineCount++;
      }

      public static synchronized void subOnlineCount() {
          CommodityServer.onlineCount--;
      }
  }

​

  • внешний интерфейс

    <!DOCTYPE html>
<html>
<head>
    <title>Java后端WebSocket的Tomcat实现</title>
</head>
<body>
Welcome<br/><input id="text" type="text"/>
<button onclick="send()">发送消息</button>
<hr/>
<button onclick="closeWebSocket()">关闭WebSocket连接</button>
<hr/>
<div id="message"></div>
</body>

<script type="text/javascript">
    var websocket = null;
    //判断当前浏览器是否支持WebSocket
    if ('WebSocket' in window) {
        websocket = new WebSocket("ws://localhost:8081/onepic/websocket");
    }
    else {
        alert('当前浏览器 Not support websocket')
    }

    //连接发生错误的回调方法
    websocket.onerror = function () {
        setMessageInnerHTML("WebSocket连接发生错误");
    };

    //连接成功建立的回调方法
    websocket.onopen = function () {
        setMessageInnerHTML("WebSocket连接成功");
    }

    //接收到消息的回调方法
    websocket.onmessage = function (event) {
        setMessageInnerHTML(event.data);
    }

    //连接关闭的回调方法
    websocket.onclose = function () {
        setMessageInnerHTML("WebSocket连接关闭");
    }

    //监听窗口关闭事件，当窗口关闭时，主动去关闭websocket连接，防止连接还没断开就关闭窗口，server端会抛异常。
    window.onbeforeunload = function () {
        closeWebSocket();
    }

    //将消息显示在网页上
    function setMessageInnerHTML(innerHTML) {
        document.getElementById('message').innerHTML += innerHTML + '<br/>';
    }

    //关闭WebSocket连接
    function closeWebSocket() {
        websocket.close();
    }

    //发送消息
    function send() {
        var message = document.getElementById('text').value;
        websocket.send(message);
    }
</script>
</html>

контрольная работа

будь осторожен

  1. webSocketSetУстановить как глобальную статическую переменную для обеспечения вызовов других классов

    public static CopyOnWriteArraySet<CommodityServer> webSocketSet = new CopyOnWriteArraySet<CommodityServer>();

  2. Сервер реализован с аннотациями@ServerEndpoint @OnOpen @OnClose @OnMessage @OnError

  3. Tomcat7.0.47Вышеупомянутая версия поддерживает websocket1.0

  4. Добавить поддержку jar в pom

    <dependency>
    <groupId>javax</groupId>
    <artifactId>javaee-api</artifactId>
    <version>7.0</version>
    <scope>provided</scope>
</dependency>

Kafka

Введение

Kafka — это распределенная, разделяемая и реплицируемаясистема сообщений.

развивать

Оконная система создает среду kafka, пожалуйста, обратитесь к моему "Настройка среды Kafka (Windows)"Примечания

  • kafka client for java
package com.ykkj.weiyi.socket;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

import java.io.IOException;
import java.util.Arrays;
import java.util.Properties;
import static com.ykkj.weiyi.socket.CommodityServer.webSocketSet;

public class ConsumerKafka extends Thread {
    private KafkaConsumer<String, String> consumer;
    private String topic = "test.topic";
    public ConsumerKafka() {
    }

    @Override
    public void run() {
        //加载kafka消费者参数
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "ytna");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "15000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //创建消费者对象
        consumer = new KafkaConsumer<String, String>(props);
        consumer.subscribe(Arrays.asList(this.topic));
        //死循环，持续消费kafka
        while (true) {
            try {
                //消费数据，并设置超时时间
                ConsumerRecords<String, String> records = consumer.poll(100);
                //Consumer message
                for (ConsumerRecord<String, String> record : records) {
                    //Send message to every client
                    for (CommodityServer webSocket : webSocketSet) {
                        webSocket.sendMessage(record.value());
                    }

                }
            } catch (IOException e) {
                System.out.println(e.getMessage());
                continue;
            }
        }
    }

    public void close() {
        try {
            consumer.close();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }

    //供测试用，若通过tomcat启动需通过其他方法启动线程
    public static void main(String[] args) {
        ConsumerKafka consumerKafka = new ConsumerKafka();
        consumerKafka.start();
    }
}

Уведомлениеtopicиbootstrap.serversнастроить

  • вызывающий класс
  package com.ykkj.weiyi.socket;

  public class RunThread {
      public RunThread() {
          ConsumerKafka kafka = new ConsumerKafka();
          kafka.start();
      }
  }
  • конфигурация web.xml
 <listener>
	<listener-class>com.ykkj.weiyi.socket.RunThread</listener-class>
 </listener>

контрольная работа

будь осторожен

  • ConsumerKafka нужно настроить мониторинг в web.xml, иначе его нельзя получить в классе ConsumerKafkawebSocketSetПеременная
  • Ссылка на метод переменной webSocketSetimport static com.ykkj.weiyi.socket.CommodityServer.webSocketSet;
  • Уведомлениеtopicиbootstrap.serversнастроить

заключительные замечания

Это просто техническая проверка, на самом деле не реализованная. В реальном сценарии данные, полученные kafka, нужно очистить, очистить данные, не соответствующие текущим спецификациям, и собрать данные в соответствии с форматом, требуемым интерфейсным дисплеем.

Обратитесь к онлайн-информации

https://blog.csdn.net/lw_ghy/article/details/73252904

https://blog.csdn.net/liu857279611/article/details/70157012

Категории