«Это третий день моего участия в первом испытании обновлений 2022 года. Подробную информацию о мероприятии см.:Вызов первого обновления 2022 г."
Аннотация: Многие студенты DBA часто сталкиваются с проблемой синхронизации из одной базы данных в другую базу данных в режиме реального времени Синхронизировать однородные данные относительно легко, но сложно синхронизировать при столкновении с разнородными данными, множеством таблиц и большими объемами данных. Я лично протестировал способ, которым может быть очень удобно синхронизировать данные MySQL с ClickHouse в режиме реального времени, и делюсь им с вами, надеюсь, он будет вам полезен.
Обмен опытом синхронизации данных в реальном времени между MySQL и ClickHouse
Синхронизация данных MySQL в реальном времени с ClickHouse заняла всего несколько минут. Используемые инструментыTapdata Cloud, этот инструмент бесплатен навсегда.
@[TOC](обмен опытом синхронизации данных в реальном времени между MySQL и ClickHouse)
Шаг 1. Настройте соединение с MySQL.
1. Нажмите [Управление подключением] в левой строке меню фона операции Tapdata Cloud, а затем нажмите кнопку [Создать подключение] в правом верхнем углу [Списка подключений] в правой области, чтобы открыть страницу выбора типа подключения. , а затем выберите MySQL
2. По очереди введите необходимую информацию о конфигурации на открывшейся странице конфигурации информации о подключении.
【Имя соединения】: Установите имя соединения, имена нескольких соединений не могут повторяться. [Адрес базы данных]: IP базы данных/хост 【Порт】: порт базы данных [Имя базы данных]: подключение к базе данных tapdata использует базу данных в качестве источника данных. Здесь db относится к базе данных в экземпляре базы данных, а не к экземпляру mysql. 【Учетная запись】: учетная запись, которая может получить доступ к базе данных. 【Пароль】: пароль, соответствующий учетной записи базы данных. [Часовой пояс]: часовой пояс базы данных используется по умолчанию; если указан часовой пояс, будет использоваться указанная настройка часового пояса.
3. Проверьте соединение, предложите пройти тест
4. После прохождения теста сохраните подключение.
Шаг 2: Настройте подключение ClickHouse
3. Как и в первом шаге, нажмите [Управление подключением] в левой строке меню, затем нажмите кнопку [Создать подключение] в правом верхнем углу [Списка подключений] в правой области, чтобы открыть страницу выбора типа подключения. , а затем выберите ClickHouse
4. По очереди введите необходимую информацию о конфигурации на открывшейся странице конфигурации информации о соединении и сохраните тестовое соединение после завершения настройки.
Шаг 3: Выберите режим синхронизации - полная/инкрементная/полная + инкрементная
Войдите на страницу управления фоновыми задачами Tapdata Cloud, нажмите кнопку «Добавить задачу», чтобы войти в процесс настройки задачи.
В соответствии с только что созданным соединением выберите источник и место назначения.
В соответствии с требованиями к данным выберите библиотеку и таблицу для синхронизации.Если вам нужно изменить имя таблицы, вы можете установить имя целевой таблицы в пакетах с помощью функции пакетного изменения имени таблицы на странице.
После установки вышеуказанных параметров следующим шагом является выбор типа синхронизации.Платформа обеспечивает полную синхронизацию, инкрементную синхронизацию, полную + инкрементную синхронизацию, а также установку режима записи и количества чтений.
Если выбрана полная + добавочная синхронизация, агент Tapdata автоматически перейдет в состояние добавочной синхронизации после выполнения полной задачи. В этом состоянии Tapdata Agent будет постоянно отслеживать изменения данных (в том числе: запись, обновление, удаление) исходной стороны и записывать эти изменения данных на целевую сторону в режиме реального времени.
Щелкните имя задачи, чтобы открыть страницу сведений о задаче, где можно просмотреть сведения о задаче.
Щелкните Монитор задач, чтобы открыть страницу сведений о выполнении задачи, на которой можно просмотреть конкретную информацию, такую как ход выполнения задачи/этапы.
Шаг 4. Выполните проверку данных
Как правило, после завершения синхронизации я обычно выполняю проверку данных, чтобы не наступить на яму.
Tapdata Cloud имеет три режима верификации, я обычно использую самую быструю быструю верификацию, мне нужно только выбрать таблицу для верификации, не задавая других сложных параметров и условий, что просто и удобно.
Если вы чувствуете, что этого недостаточно, вы также можете выбрать проверку значения поля таблицы.Помимо выбора таблицы для проверки, вам также необходимо установить индексное поле для каждой таблицы.
При выполнении полной проверки значения поля в таблице также поддерживается расширенная проверка. Благодаря расширенной проверке можно добавить логику проверки JS и проверить данные источника и цели.
Существует также проверка значения связанного поля метода проверки.При создании проверки значения связанного поля, помимо выбора таблицы для проверки, также необходимо установить индексное поле для каждой таблицы.
Вышеупомянутое разделение операции синхронизации данных MySQL в реальном времени с ClickHouse, по сравнению с написанием кода самостоятельно, не слишком удобно. Кодовое слово не простое, при перепечатке указывайте источник~
Синхронизация других баз данных
Синхронизация в реальном времени других данных базы данных сOracle, MySQL, PG, SQL Server, MongoDB, ES, Dameng, Kafka, GP, MQ, ClickHouse, Hazelcast Cloud, ADB MySQL, ADB PostgreSQL, KunDB, TiDB, Dummy DBМетод также заключается в том, чтобы сначала настроить соединение между источником и целью, а затем создать новую задачу для выбора режима синхронизации: полная/инкрементная/полная + инкрементальная, поскольку шаги одинаковы, другое объяснять не буду. При создании подключения вы обнаружили, что базы данных DB2, Sybase и Gbase теперь находятся в заблокированном состоянии серого цвета, которое должно находиться в стадии разработки и может поддерживать функцию синхронизации этих баз данных в будущем. Tapdata Cloud обещают использовать бесплатно навсегда, но друзья, которые более требовательны и имеют бюджет, также могут использовать корпоративную версию и подать заявку на пробную версию. Если вы сочтете это полезным, пожалуйста, поставьте лайк и прокомментируйте, и не стесняйтесь обращаться ко мне с вопросами, связанными с базой данных~!