Зачем вам нужно разделение чтения-записи?
Когда проект становится все больше и больше, а параллелизм становится все больше и больше, нагрузка на один сервер базы данных должна увеличиваться, и в конечном итоге база данных станет узким местом производительности, а когда данных становится все больше и больше, запрос конечно, это займет больше времени. Когда данные базы данных слишком велики, вы можете использовать подбазу данных и подтаблицу базы данных, а когда нагрузка на базу данных слишком велика, вы также можете использовать Redis и другие технологии кэширования, чтобы уменьшить давление, но любая технология не панацея.Использование, и эта статья в основном знакомит с тем, как ускорить чтение базы данных за счет разделения чтения-записи
Метод реализации
Есть много способов реализации разделения чтения-записи, но многие из них требуют настройки master-slave репликации БД.Конечно, могут быть и такие, которые не нужно настраивать, но я не знаю.
метод первый
Реализация промежуточного программного обеспечения базы данных, такого как Mycat и другое промежуточное программное обеспечение базы данных, для самого проекта существует только один источник данных, который должен быть связан с Mycat, а затем Mycat выбирает, из какой библиотеки получать данные в соответствии с правилами.
Способ 2
Настройте несколько источников данных в коде и контролируйте, какой источник данных использовать с помощью кода. В этой статье в основном представлен этот метод.
Плюсы и минусы разделения чтения-записи
преимущество
1. Уменьшите нагрузку на чтение базы данных, особенно для некоторых приложений отчетов в реальном времени, которые требуют большого количества вычислений.
2. Повышение безопасности данных Одним из преимуществ разделения чтения и записи является то, что резервное копирование данных происходит практически в реальном времени. После повреждения жесткого диска сервера данные в подчиненной библиотеке могут быть бесконечно близки к основной библиотеке.
3. Высокая доступность может быть достигнута.Конечно, только разделение чтения-записи настроено и не может быть использовано.В лучшем случае операции запроса могут выполняться, когда мастер (основная библиотека) не работает.Специфическая высокая доступность требует других операций.
недостаток
1. Увеличить стоимость, стоимость одного сервера баз данных и нескольких баз данных должна быть разной
2. Увеличить сложность кода, но это относительно незначительно, но в определенной степени действительно увеличится
3. Увеличить стоимость записи.Хотя стоимость чтения снижается, стоимость записи не снижается вообще.Ведь есть еще подчиненные библиотеки, которые запрашивают данные из основной библиотеки.
Конфигурация репликации MySQL master-slave
Конфигурация MySQL master-slave является основным условием для реализации разделения чтения и записи.Для конкретной реализации репликации MySQL master-slave см. мою предыдущую статью.Настройка репликации MySQL master-slave на основе журнала (binlog)
Конфигурация источника данных
spring:
application:
name: separate
master:
url: jdbc:mysql://192.168.1.126:3307/test?useUnicode=true&characterEncoding=utf8&emptyStringsConvertToZero=true
username: root
password: 123456
driver_class_namel: com.mysql.jdbc.Driver
type: com.alibaba.druid.pool.DruidDataSource
max-active: 20
initial-size: 1
min-idle: 3
max-wait: 600
time-between-eviction-runs-millis: 60000
min-evictable-idle-time-millis: 300000
test-while-idle: true
test-on-borrow: false
test-on-return: false
poolPreparedStatements: true
slave:
url: jdbc:mysql://192.168.1.126:3309/test?useUnicode=true&characterEncoding=utf8&emptyStringsConvertToZero=true
username: test
password: 123456
driver_class_namel: com.mysql.jdbc.Driver
type: com.alibaba.druid.pool.DruidDataSource
max-active: 20
initial-size: 1
min-idle: 3
max-wait: 600
time-between-eviction-runs-millis: 60000
min-evictable-idle-time-millis: 300000
test-while-idle: true
test-on-borrow: false
test-on-return: false
poolPreparedStatements: true
В файле настроены два источника данных: главный — это библиотека для записи, а ведомый — библиотека для чтения. Чтобы предотвратить запись в ведомый, пользователь ведомого имеет только разрешение на чтение. Поскольку источник данных должен быть динамически установленный в коде, источник данных должен наследовать AbstractRoutingDataSource.
/**
* 动态数据源
* @author Raye
* @since 2016年10月25日15:20:40
*/
public class DynamicDataSource extends AbstractRoutingDataSource {
private static final ThreadLocal<DatabaseType> contextHolder = new ThreadLocal<DatabaseType>();
@Override
protected Object determineCurrentLookupKey() {
return contextHolder.get();
}
public static enum DatabaseType {
Master, Slave
}
public static void master(){
contextHolder.set(DatabaseType.Master);
}
public static void slave(){
contextHolder.set(DatabaseType.Slave);
}
public static void setDatabaseType(DatabaseType type) {
contextHolder.set(type);
}
public static DatabaseType getType(){
return contextHolder.get();
}
}
contextHolder — это переменная потока, потому что каждый запрос — это поток, поэтому различайте, какая библиотека используется этим потоком.
defineCurrentLookupKey — это переопределенный метод AbstractRoutingDataSource, в основном для определения того, какой ключ источника данных следует использовать в данный момент, поскольку несколько источников данных, сохраненных в AbstractRoutingDataSource, сохраняются Map
созданный источник данных
/**
* Druid的DataResource配置类
* @author Raye
* @since 2016年10月7日14:14:18
*/
@Configuration
@EnableTransactionManagement
public class DataBaseConfiguration implements EnvironmentAware {
private RelaxedPropertyResolver propertyResolver1;
private RelaxedPropertyResolver propertyResolver2;
public DataBaseConfiguration(){
System.out.println("#################### DataBaseConfiguration");
}
public void setEnvironment(Environment env) {
this.propertyResolver1 = new RelaxedPropertyResolver(env, "spring.master.");
this.propertyResolver2 = new RelaxedPropertyResolver(env, "spring.slave.");
}
public DataSource master() {
System.out.println("注入Master druid！！！");
DruidDataSource datasource = new DruidDataSource();
datasource.setUrl(propertyResolver1.getProperty("url"));
datasource.setDriverClassName(propertyResolver1.getProperty("driver-class-name"));
datasource.setUsername(propertyResolver1.getProperty("username"));
datasource.setPassword(propertyResolver1.getProperty("password"));
datasource.setInitialSize(Integer.valueOf(propertyResolver1.getProperty("initial-size")));
datasource.setMinIdle(Integer.valueOf(propertyResolver1.getProperty("min-idle")));
datasource.setMaxWait(Long.valueOf(propertyResolver1.getProperty("max-wait")));
datasource.setMaxActive(Integer.valueOf(propertyResolver1.getProperty("max-active")));
datasource.setMinEvictableIdleTimeMillis(Long.valueOf(propertyResolver1.getProperty("min-evictable-idle-time-millis")));
try {
datasource.setFilters("stat,wall");
} catch (SQLException e) {
e.printStackTrace();
}
return datasource;
}
public DataSource slave() {
System.out.println("Slave druid！！！");
DruidDataSource datasource = new DruidDataSource();
datasource.setUrl(propertyResolver2.getProperty("url"));
datasource.setDriverClassName(propertyResolver2.getProperty("driver-class-name"));
datasource.setUsername(propertyResolver2.getProperty("username"));
datasource.setPassword(propertyResolver2.getProperty("password"));
datasource.setInitialSize(Integer.valueOf(propertyResolver2.getProperty("initial-size")));
datasource.setMinIdle(Integer.valueOf(propertyResolver2.getProperty("min-idle")));
datasource.setMaxWait(Long.valueOf(propertyResolver2.getProperty("max-wait")));
datasource.setMaxActive(Integer.valueOf(propertyResolver2.getProperty("max-active")));
datasource.setMinEvictableIdleTimeMillis(Long.valueOf(propertyResolver2.getProperty("min-evictable-idle-time-millis")));
try {
datasource.setFilters("stat,wall");
} catch (SQLException e) {
e.printStackTrace();
}
return datasource;
}
@Bean
public DynamicDataSource dynamicDataSource() {
DataSource master = master();
DataSource slave = slave();
Map<Object, Object> targetDataSources = new HashMap<Object, Object>();
targetDataSources.put(DynamicDataSource.DatabaseType.Master, master);
targetDataSources.put(DynamicDataSource.DatabaseType.Slave, slave);
DynamicDataSource dataSource = new DynamicDataSource();
dataSource.setTargetDataSources(targetDataSources);// 该方法是AbstractRoutingDataSource的方法
dataSource.setDefaultTargetDataSource(master);
return dataSource;
}
}
Всего существует 3 источника данных: мастер, ведомый и динамический источник данных, которые хранятся в ведущем и ведомом.Чтобы предотвратить исключения Spring инъекций, как мастер, так и ведомый активно создаются, а не управляются Spring
dataSource.setDefaultTargetDataSource(master);
Он настроен.Если источник данных по умолчанию, источник данных которого используется в данный момент, не настроен, изначально предполагалось настроить ведомое устройство, но из-за проблемы вещей настроенное ведущее устройство
Конфигурация Mybatis
/**
* MyBatis的配置类
*
* @author Raye
* @since 2016年10月7日14:13:39
*/
@Configuration
@AutoConfigureAfter({ DataBaseConfiguration.class })
@Slf4j
public class MybatisConfiguration {
@Bean(name = "sqlSessionFactory")
@Autowired
public SqlSessionFactory sqlSessionFactory(DynamicDataSource dynamicDataSource) {
SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
bean.setDataSource(dynamicDataSource);
try {
SqlSessionFactory session = bean.getObject();
MapperHelper mapperHelper = new MapperHelper();
//特殊配置
Config config = new Config();
//具体支持的参数看后面的文档
config.setNotEmpty(true);
//设置配置
mapperHelper.setConfig(config);
// 注册自己项目中使用的通用Mapper接口，这里没有默认值，必须手动注册
mapperHelper.registerMapper(Mapper.class);
//配置完成后，执行下面的操作
mapperHelper.processConfiguration(session.getConfiguration());
return session;
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
@Bean(name = "sqlSessionTemplate")
@Autowired
public SqlSessionTemplate sqlSessionTemplate(SqlSessionFactory sqlSessionFactory) {
return new SqlSessionTemplate(sqlSessionFactory);
}
@Bean
public MapperScannerConfigurer scannerConfigurer(){
MapperScannerConfigurer configurer = new MapperScannerConfigurer();
configurer.setSqlSessionFactoryBeanName("sqlSessionFactory");
configurer.setSqlSessionTemplateBeanName("sqlSessionTemplate");
configurer.setBasePackage("wang.raye.**.mapper");
configurer.setMarkerInterface(Mapper.class);
return configurer;
}
}
MybatisConfiguration — это в основном конфигурация sqlSessionFactory и sqlSessionTemplate, а также конфигурация Mapper инфраструктуры расширений Mybatis.Если Mapper не требуется, можно настроить scanConfigurer.
Конфигурация вещи
@Configuration
@EnableTransactionManagement
@Slf4j
@AutoConfigureAfter({ MybatisConfiguration.class })
public class TransactionConfiguration extends DataSourceTransactionManagerAutoConfiguration {
@Bean
@Autowired
public DataSourceTransactionManager transactionManager(DynamicDataSource dynamicDataSource) {
log.info("事物配置");
return new DataSourceTransactionManager(dynamicDataSource);
}
}
В конфигурации вещей есть яма, после включения вещи кажется, что выполнение потока будет переключено, поэтому текущий сконфигурированный источник данных не будет использоваться, а будет получен источник данных по умолчанию, поэтому единственный способ сделать это, установив источник данных по умолчанию для master
АОП включается, чтобы установить источник данных
/**
* 数据源的切入面
*
*/
@Aspect
@Component
@Slf4j
public class DataSourceAOP {
@Before("execution(* wang.raye.separate.service..*.select*(..)) || execution(* wang.raye.separate.service..*.get*(..))")
public void setReadDataSourceType() {
DynamicDataSource.slave();
log.info("dataSource切换到：slave");
}
@Before("execution(* wang.raye.separate.service..*.insert*(..)) || execution(* wang.raye.separate.service..*.update*(..)) || execution(* wang.raye.separate.service..*.delete*(..)) || execution(* wang.raye.separate.service..*.add*(..))")
public void setWriteDataSourceType() {
DynamicDataSource.master();
log.info("dataSource切换到：master");
}
}
Эта конфигурация основана на имени метода и может быть настроена в соответствии с вашей собственной ситуацией.
Вы также можете использовать аннотации для активного переключения, создать два класса аннотаций, один Master и один Slave.Master.class
/**
* 使用主库的注解
*/
public @interface Master {
}
Slave.class
/**
* 使用读库的注解
*/
public @interface Slave {
}
Врезная модификация АОП
/**
* 数据源的切入面
*
*/
@Aspect
@Component
@Slf4j
public class DataSourceAOP {
@Before("(@annotation(wang.raye.separate.annotation.Master) || execution(* wang.raye.separate.service..*.insert*(..)) || " +
"execution(* wang.raye.separate.service..*.update*(..)) || execution(* wang.raye.separate.service..*.delete*(..)) || " +
"execution(* wang.raye.separate.service..*.add*(..))) && !@annotation(wang.raye.separate.annotation.Slave) -")
public void setWriteDataSourceType() {
DynamicDataSource.master();
log.info("dataSource切换到：master");
}
@Before("(@annotation(wang.raye.separate.annotation.Slave) || execution(* wang.raye.separate.service..*.select*(..)) || execution(* wang.raye.separate.service..*.get*(..))) && !@annotation(wang.raye.separate.annotation.Master)")
public void setReadDataSourceType() {
DynamicDataSource.slave();
log.info("dataSource切换到：slave");
}
}
Примечание. Это правило входа AOP содержит только базовые спецификации. Если вы хотите использовать его в обычном режиме, вам необходимо расширить правила. Простой код сервисного уровня
/**
* 用户相关业务接口实现类
*/
@Service
@Slf4j
public class UserServiceImpl implements UserService {
@Autowired
private UserMapper mapper;
@Master
@Override
public List<User> selectAll() {
return mapper.selectAll();
}
@Override
public boolean addUser(User user) {
return mapper.insertSelective(user) > 0;
}
@Override
public boolean updateUser(User user) {
return mapper.updateByPrimaryKey(user) > 0;
}
@Override
public boolean deleteByid(int id) {
return mapper.deleteByPrimaryKey(id) > 0;
}
@Transactional(rollbackFor = Exception.class )
@Override
public boolean insertAndUpdate(User user){
log.info("当前key："+ DynamicDataSource.getType().name());
int count = 0;
count += mapper.insertSelective(user);
user = null;
user.getId();
count += mapper.updateByPrimaryKey(user);
return count > 1;
}
}
Все методы здесь будут использовать главный источник.Если аннотация Master для selectAll удалена, то selectAll будет использовать подчиненный источник данных.Метод insertAndUpdate в основном проверяет, записывается ли он в основной источник данных и нормально ли откатывается при использовании вещи.
исходный код
Конкретный код может напрямую видеть мой демонстрационный проектДемонстрация разделения чтения-записи