«Это восьмой день моего участия в первом испытании обновлений 2022 года. Подробную информацию о мероприятии см.:Вызов первого обновления 2022 г."
Аннотация: Многие администраторы баз данных и студенты, изучающие разработку, часто сталкиваются с проблемой синхронизации из одной базы данных в другую в режиме реального времени: относительно легко синхронизировать однородные данные, но сложно синхронизировать при столкновении с разнородными данными, множеством таблиц и большими объемами данных. . Недавно я узнал об инструменте синхронизации данных в режиме реального времени, Tapdata Cloud, который может легко синхронизировать данные MySQL с Elasticsearch в режиме реального времени, и я хотел бы поделиться им с вами, надеясь помочь вам.
Синхронизация данных MySQL в реальном времени с Elasticsearch заняла всего несколько минут. Используемые инструментыTapdata Cloud, этот инструмент бесплатен навсегда.
Шаг 1. Настройте соединение с MySQL.
1. Нажмите [Управление подключением] в левой строке меню фона операции Tapdata Cloud, а затем нажмите кнопку [Создать подключение] в правом верхнем углу [Списка подключений] в правой области, чтобы открыть страницу выбора типа подключения. , а затем выберите MySQL
2. Введите необходимую информацию о конфигурации в свою очередь на странице «Открытая страница конфигурации информации»
【Имя соединения】: Установите имя соединения, имена нескольких соединений не могут повторяться.
[Адрес базы данных]: IP базы данных/хост
【Порт】: порт базы данных
[Имя базы данных]: подключение к базе данных tapdata использует базу данных в качестве источника данных. Здесь db относится к базе данных в экземпляре базы данных, а не к экземпляру mysql.
【Учетная запись】: учетная запись, которая может получить доступ к базе данных.
【Пароль】: пароль, соответствующий учетной записи базы данных.
[Часовой пояс]: часовой пояс базы данных используется по умолчанию; если указан часовой пояс, будет использоваться указанная настройка часового пояса.
Проверьте соединение, предложите пройти тест
После прохождения теста сохраните соединение.
Шаг 2. Настройте подключение к Elasticsearch
1. Как и в первом шаге, нажмите [Управление подключением] в левой строке меню, а затем нажмите кнопку [Создать подключение] в правом верхнем углу [Списка подключений] в правой области, чтобы открыть выбор типа подключения. страницу, а затем выберите Elasticsearch
2. По очереди введите необходимую информацию о конфигурации на открывшейся странице конфигурации информации о соединении и сохраните тестовое соединение после завершения настройки.
Шаг 3: Выберите режим синхронизации - полная/инкрементная/полная + инкрементная
Войдите на страницу управления фоновыми задачами Tapdata Cloud, нажмите кнопку «Добавить задачу», чтобы войти в процесс настройки задачи.
В соответствии с только что созданным соединением выберите источник и место назначения.
В соответствии с требованиями к данным выберите библиотеку и таблицу для синхронизации.Если вам нужно изменить имя таблицы, вы можете установить имя целевой таблицы в пакетах с помощью функции пакетного изменения имени таблицы на странице.
После установки вышеуказанных параметров следующим шагом является выбор типа синхронизации.Платформа обеспечивает полную синхронизацию, инкрементную синхронизацию, полную + инкрементную синхронизацию, а также устанавливает режим записи и количество чтений.
Если выбрана полная + добавочная синхронизация, агент Tapdata автоматически перейдет в состояние добавочной синхронизации после выполнения полной задачи. В этом состоянии Tapdata Agent будет постоянно отслеживать изменения данных (в том числе: запись, обновление, удаление) исходной стороны и записывать эти изменения данных на целевую сторону в режиме реального времени.
Щелкните имя задачи, чтобы открыть страницу сведений о задаче, где можно просмотреть сведения о задаче.
Щелкните Монитор задач, чтобы открыть страницу сведений о выполнении задачи, на которой можно просмотреть конкретную информацию, такую как ход выполнения задачи/этапы.
Шаг 4. Выполните проверку данных
Как правило, после завершения синхронизации я обычно выполняю проверку данных, чтобы не наступить на яму.
Tapdata Cloud имеет три режима верификации, я обычно использую самую быструю быструю верификацию, мне нужно только выбрать таблицу для верификации, не задавая других сложных параметров и условий, что просто и удобно.
Вышеупомянутое разделение операции синхронизации данных MySQL в реальном времени с Elasticsearch, По сравнению с написанием кода самостоятельно, это не слишком удобно. Кодовое слово не простое, при перепечатке указывайте источник~
Синхронизация других баз данных
Синхронизация в реальном времени других данных базы данных сOracle, MySQL, PG, SQL Server, MongoDB, ES, Dameng, Kafka, GP, MQ, ClickHouse, Hazelcast Cloud, ADB MySQL, ADB PostgreSQL, KunDB, TiDB, Dummy DBСпособ также организован для подключения источника и назначения и выбора шаблона синхронизации. Новая задача: полная / дельта / дельта + полная сумма, поскольку тот же шаг, другие текстуры больше не объясняются. Создайте соединение, когда оно не найдено: несколько баз данных DB2, Sybase, Gbase теперь находятся в состоянии серой блокировки, должны быть в разработке, и последующие действия могут также поддерживать синхронизацию этих баз данных. Tapdata Cloud стремится к постоянному бесплатному использованию, но требует, чтобы друзья с более высоким бюджетом также могли использовать Enterprise Edition, вы также можете подать заявку на пробную версию. Если вы найдете это полезным, пожалуйста, прокомментируйте и похвалите точку сбора, есть вопросы, связанные с базой данных, не стесняйтесь обращаться ко мне ~!