Docker создает кластер Mysql: конфигурация master-slave
предисловие
Ранее было описано, как использовать composer для быстрой сборки сервиса mysql. В этой статье мы настроим два сервера Mysql на оригинальной основе. Один служит главным сервером, а другой служит подчиненным сервером.
docker-composer.yml
version: '3'
networks: #定义网路
backend:
driver: ${NETWORKS_DRIVER}
services:
### MySQL ################################################
mysql-master:
build:
context: ./mysql #自定义镜像
args:
- MYSQL_VERSION=${MYSQL_VERSION}
environment:
- MYSQL_DATABASE=${MYSQL_DATABASE} #默认创建数据库
- MYSQL_USER=${MYSQL_USER} #创建用户
- MYSQL_PASSWORD=${MYSQL_PASSWORD} #用户密码
- MYSQL_ROOT_PASSWORD=${MYSQL_ROOT_PASSWORD} #root 用户秘密
- TZ=${WORKSPACE_TIMEZONE}
volumes:
- ${DATA_PATH_HOST}/mysql:/var/lib/mysql
- ${MYSQL_ENTRYPOINT_INITDB}:/docker-entrypoint-initdb.d
ports:
- "${MYSQL_PORT}:3306"
networks:
- backend
mysql-slave:
build:
context: ./mysql_slave #自定义镜像
args:
- MYSQL_VERSION=${MYSQL_VERSION}
environment:
- MYSQL_DATABASE=${MYSQL_DATABASE} #默认创建数据库
- MYSQL_USER=${MYSQL_USER} #创建用户
- MYSQL_PASSWORD=${MYSQL_PASSWORD} #用户密码
- MYSQL_ROOT_PASSWORD=${MYSQL_ROOT_PASSWORD} #root 用户秘密
- TZ=${WORKSPACE_TIMEZONE}
volumes:
- ${DATA_PATH_HOST}/mysql_slave:/var/lib/mysql
- ${MYSQL_ENTRYPOINT_INITDB}:/docker-entrypoint-initdb.d
ports:
- "${MYSQL_PORT_SLAVE}:3306"
networks:
- backend
Сначала дайте полную версию docker-compose.yml. Но сначала сосредоточьтесь наmysql-masterНа этом сервисе,mysql-slaveОтложите это пока и оставьте его в покое.
По сравнению с содержанием предыдущей статьи,mysql-masterКонфигурация не изменилась, нам нужно изменитьmysql-masterкак главный узел. Основная работа заключается в файле my.cnf в каталоге mysql.
Настройте главный узел
Модифицированный my.cnf
# The MySQL Client configuration file.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html
[mysql]
[mysqld]
sql-mode="STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION"
character-set-server=utf8
## 主库配置
## 设置server_id，一般设置为IP,保证唯一就好
server_id=100
# 开启binlog，名字可以随意取
log-bin=mysql-bin
## binlog日志格式,（mixed,statement,row，默认格式是statement）
binlog_format=row
## 日志自动删除日期,默认值为0，表示不自动删除。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql
#控制binlog的写入频率。每执行多少次事务写入一次(这个参数性能消耗很大，但可减小MySQL崩溃造成的损失)
sync_binlog = 1
#这个参数一般用在主主同步中，用来错开自增值, 防止键值冲突
auto_increment_offset = 1
#这个参数一般用在主主同步中，用来错开自增值, 防止键值冲突
auto_increment_increment = 1
Значение параметров поясняется в примечаниях с акцентом на следующее.
- log-bin : Используется для включения функции журнала binlog.По умолчанию отключено.Значение имени файла журнала binlog может быть определено по вашему усмотрению. После заполнения включается функция binlog.
- binlog_format: формат файла.
- оператор: форма оператора SQL, например, выполнение на Мастере
delete from student where id = 1。Тогда журнал binlog также будет правдиво записывать эту информацию. Преимущества: занимает меньше места. Недостатки: данные невозможно восстановить, если они были удалены по ошибке, а в некоторых случаях это может привести к несогласованности между ведущим и подчиненным. - строка: информация о данных будет записана, например, информация о студенте с идентификатором 1 в приведенном выше примере также будет записана. Преимущества: Он может восстановить информацию, удаленную по ошибке, и может избежать несоответствия между мастером и резервной копией Недостатки: он занимает много места.
- смешанный: смешанный оператор, строка. Mysql определит, выполнение какого оператора может вызвать несоответствие между ведущим и резервным.Эти операторы записываются в формате строки, а другие записываются в формате оператора. Разумеется, с помощью этой формы журнала невозможно восстановить случайно удаленные данные.
- В случае хорошей конфигурации сервера рекомендуется использовать row. Служба RDS в облаке Alibaba также использует формат строки по умолчанию.
- expire_logs_days: Установите время хранения бинлога, по умолчанию 0, то есть по мере работы сервера бинлог будет становиться все больше и больше. Ознакомьтесь с бизнес-требованиями для настройки времени хранения binlog. В сочетании с функцией ежедневного резервного копирования базы данных через binlog базу данных можно отследить до любого момента времени за N дней.
- sync_binlog: по умолчанию sync_binlog=0, что означает, что MySQL не контролирует обновление binlog, а сама файловая система управляет обновлением своего кеша. На этот раз производительность лучшая, но и риск самый большой. После сбоя системы вся информация binlog в binlog_cache будет потеряна. Значение 1 означает, что каждая фиксация транзакции должна быть записана на диск. Его также можно установить на 2, 3..N меток N раз, когда транзакции записываются на диск. Главный узел обычно имеет значение 1, чтобы гарантировать, что журнал binlog не будет потерян.
После завершения модификации запустите службу Master node.
docker-compose up -d --build mysql-master
--buildПараметр может принудительно восстановить изображение.
Проверьте бинлог основной службы
show VARIABLES like 'log_%';
Содержимое дисплея следующее:
Видеть
log_binвключен.
Создайте учетную запись для синхронизации master-slave:
grant file,select,replication slave on *.* to 'slave'@'%' identified by '123456';
Здесь 'slave'@'%' позволяет ведомому войти в систему с любой машины. Конечно, если вы знаете IP ведомого узла, рекомендуется использовать IP для повышения безопасности учетной записи.
Проверить основной статус
show master status;
Полезные поля File и Position записываются.
Настройка подчиненных узлов
Скопируйте каталог mysql, чтобы создать каталог mysql_slave, и структура каталогов изменится на
Измените my.cnf под mysql_slave
# The MySQL Client configuration file.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html
[mysql]
[mysqld]
sql-mode="STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION"
character-set-server=utf8
## 从库配置
## 设置server_id，一般设置为IP,保证唯一就好
server_id=101
# 开启binlog，名字可以随意取
log-bin=mysql-slave-bin
## binlog日志格式,（mixed,statement,row，默认格式是statement）
binlog_format=row
## 日志自动删除日期,默认值为0，表示不自动删除。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）
binlog-ignore-db=mysql
#牺牲一定可靠性，加强并发能力
sync_binlog = 0
innodb_flush_log_at_trx_commit = 0
## 只读
read_only=1
По сравнению с мастер-проектом:
-
sync_binlog 和 ``innodb_flush_log_at_trx_commit 设置为0，Ускорение транзакций, жертвуя некоторой надежностью. Так как ведомое устройство является резервной копией ведущего, даже в случае сбоя ведомого сервиса или потери данных в точке останова его можно восстановить из основной базы данных после перезапуска. - read_only : Установите только для чтения, чтобы предотвратить ненужные изменения. Активный и резервный потоки синхронизации имеют права администратора и не контролируются read_only, поэтому они могут нормально писать.
Запустите подчиненный узел
docker-compose up -d --build mysql-slave
Узел mysql-slave находится в .env, и я настроил его на порт 3309.
После запуска службы подключитесь к узлу Slave и установите информацию о Master:
change master to master_host='mysql-master',master_user='slave',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=1311;
- master_host : IP-адрес главного узла, поскольку mysql-master и msql-slave находятся в одной и той же серверной сети, мы можем получить к нему доступ через имя mysql-master. Docker помог нам сделать разрешение хоста.
- master_user : учетная запись, только что созданная для синхронизации
- master_password: пароль для входа
- master_log_file: файл binlog, который должен быть синхронизирован мастером.
- master_log_pos: с какой позиции файла начать синхронизацию из binlong.
Проще говоря, Slave-сервер знает, какая информация о бинлоге в Master-е для запуска синхронизации через параметры master_log_file и master_log_pos.
stop slave;
start slave;
Включить синхронизацию и просмотреть информацию о синхронизации
mysql>SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql-master
Master_User: slave
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 1311
Relay_Log_File: aee031481732-relay-bin.000002
Relay_Log_Pos: 232
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 1311
Relay_Log_Space: 1401
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Slave_IO_Running 和 Slave_SQL_RunningОба столбца имеют значение «Да», что указывает на то, что потоки ввода-вывода и SQL ведомого устройства работают нормально.Seconds_Behind_MasterУказывает, сколько задержки, обычно 0
Эпилог
Благодаря сегодняшней конфигурации мы создали два сервера Mysql, один главный и один подчиненный. Узнайте о различных форматах журналов binlog с различной информацией о конфигурации для главного и подчиненных серверов для повышения эффективности. В следующей статье будет рассказано, как双主.
Docker создает кластер Mysql: используйте композитор для запуска службы Mysql