Flink интегрирует Nacos, что упрощает динамическое обновление конфигурации заданий Flink.

Java

Я сам записал видео, объясняющее интеграцию Flink и Nacos, динамическое обновление конфигурации задания без перезапуска задания!

Мы знаем, что конфигурация задания Flink обычно передается через параметры при запуске задания или путем чтения параметров файла конфигурации.Если вы хотите обновить конфигурацию задания после инициализации задания, обычно есть два решения:

  • Измените параметры запуска или измените файл конфигурации, перезапустите задание, чтобы задание могло прочитать измененную конфигурацию.
  • Читая поток конфигурации (требуется пользовательский источник для чтения конфигурации), поток и поток соединяются

Эти два решения обычно используются чаще.Для первого метода я лично не рекомендую его.Перезапуск задания принесет много последствий.Полный процесс перезапуска заданий Flink должен быть: когда задание остановлено Когда вам нужно сделать точки сохранения (эквивалентно снятию полного снимка состояния задания), вам необходимо запустить задание из точки сохранения при его запуске.Если состояние всего процесса относительно велико, время между созданием точки сохранения и инициализацией из будет сравниваться точка сохранения.Однако в сценарии потоковой обработки объем данных, как правило, относительно велик, поэтому за этот период может накопиться много данных (может быть, десятки миллионов и более в минуту). данные, естественно, увеличат нагрузку на работу.

Второй метод тоже очень часто используется, и я сам его рекомендую, я уже рассказывал о подобной схеме в прямом эфире сообщества, но сегодня я объясню другой метод - центр настройки интеграции, я не не вижу Кто-то использовал это так, и я первый человек, который ест крабов! Говоря о центре конфигурации, в настоящее время в Китае есть Apollo и Nacos.Давайте сначала поговорим об интеграции с Nacos.Пожалуйста, посмотрите видео, которое я записал для фактической работы ниже.

Кодовый адрес:GitHub.com/только 17/…

Зависимости Nacos, которые я установил сам, взяты с Ali.Поскольку я скомпилировал исходный код локально, в моем локальном каталоге .m2 могут быть следующие зависимости:

<dependency>
    <groupId>com.alibaba.nacos</groupId>
    <artifactId>nacos-core</artifactId>
    <version>1.1.4</version>
</dependency>
<dependency>
    <groupId>com.alibaba.nacos</groupId>
    <artifactId>nacos-client</artifactId>
    <version>1.1.4</version>
</dependency>
<dependency>
    <groupId>com.alibaba.nacos</groupId>
    <artifactId>nacos-common</artifactId>
    <version>1.1.4</version>
</dependency>

Тем не менее, некоторые студенты сообщили, что вышеуказанные зависимости не могут быть импортированы и не могут быть загружены все время, например, nacos-core, рекомендуется перейти сюда.MV внутри репозитория.com/search?Please = that…Взгляните на первый, затем процитируйте, чтобы попробовать.

наконец

Адрес кода обучения GitHub Flink:GitHub.com/только 17/…

Первоисточник:блог Чжишэна, добро пожаловать, чтобы обратить внимание на мой общедоступный номер: zhisheng

Категории