SpringBoot主从数据源切换

时间  2021-05-12
标签 java mysql spring sql 数据库 apache 编程 安全 服务器 网络 栏目 Spring 繁體版
原文   原文链接

SpringBoot主从数据源切换

1.原理

借助spring的【org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource】这个抽象类实现，来进行·数据源的路由，并经过Aop 进行路由选择。java

2.配置主从数据源

# dev server
# 多数据源时，主数据源为 master
spring.datasource.master.jdbc-url=jdbc:mysql://localhost:3306/epoint?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.master.username=test
spring.datasource.master.password=test

# dev server
# 多数据源时，从数据源为 slave
spring.datasource.slave.jdbc-url=jdbc:mysql://localhost:3306/epoint2?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.slave.username=test
spring.datasource.slave.password=test

启动报错处理

spring boot ：error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required
配置多个数据源启动报错，error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required，
主要缘由是在1.0 配置数据源的过程当中主要是写成：spring.datasource.url 和spring.datasource.driverClassName。
而在2.0升级以后须要变动成：spring.datasource.jdbc-url和spring.datasource.driver-class-name便可解决！
更改配置：spring.datasource.master.url  ->  spring.datasource.master.jdbc-url

3.获取当前线程的数据源类型

/**
 * describe:定义HandleDataSource类来获取当前线程的数据源类型
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class HandleDataSource {
    public static final ThreadLocal<String> holder = new ThreadLocal<String>();

    /**
     * 绑定当前线程数据源
     *
     * @param datasource
     */
    public static void putDataSource(String datasource) {
        holder.set(datasource);
    }

    /**
     * 获取当前线程的数据源
     *
     * @return
     */
    public static String getDataSource() {
        return holder.get();
    }

}

3.1线程冲突问题

注意：由于新加了数据库线程处理类，和原来存在的多线程处理类冲突，会形成现有程序“卡顿”或者“死机”，所以去除原来配置的定时任务多线程配置mysql

/**
 * describe:配置多线程定时器
 * current user Maochao.zhu
 * current system 2020/1/20
 */
@Configuration
@EnableScheduling
public class ScheduleConfig implements SchedulingConfigurer {
    @Override
    public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
        Method[] methods = BatchProperties.Job.class.getMethods();
        int defaultPoolSize = 3;
        int corePoolSize = 0;
        if (methods != null && methods.length > 0) {
            for (Method method : methods) {
                Scheduled annotation = method.getAnnotation(Scheduled.class);
                if (annotation != null) {
                    corePoolSize++;
                }
            }
            if (defaultPoolSize > corePoolSize)
                corePoolSize = defaultPoolSize;
        }
        taskRegistrar.setScheduler(Executors.newScheduledThreadPool(corePoolSize));
    }
}

4.定义路由数据源的实现类

/**
 * describe:定义路由数据源的实现类MyAbstractRoutingDataSource
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {
    private final Logger log = LoggerFactory.getLogger(this.getClass());
    @Override
    protected Object determineCurrentLookupKey() {
        log.info("###请求的数据源：{}",HandleDataSource.getDataSource());
        return HandleDataSource.getDataSource();//获取对应的数据源
    }
}

5.配置数据源和路由

/**
 * describe:配置数据源数据源和路由配置
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Configuration
public class DataSourceConfig {
    //主数据源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.master")
    public DataSource MasterDataSource() {
        return DataSourceBuilder.create().build();
    }
    //从数据源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DataSource SlaveDataSource() {
        return DataSourceBuilder.create().build();
    }
    /**
     * 设置数据源路由，经过该类中的determineCurrentLookupKey决定使用哪一个数据源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);//存放对于数据源的映射
        targetDataSources.put("master", MasterDataSource());
        targetDataSources.put("slave", SlaveDataSource());
        proxy.setDefaultTargetDataSource(MasterDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }


    @Bean(name = "SqlSessionFactory")
    @Primary
    public SqlSessionFactory MasterSqlSessionFactory(DataSource routingDataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource);//DataSource使用路由数据源

        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        try {
            bean.setMapperLocations(resolver.getResources("classpath*:mapper/**/*.xml"));
            bean.setConfigLocation(resolver.getResource("classpath:mybatis-config.xml"));
            return bean.getObject();
        } catch (Exception e) {
            e.printStackTrace();
            throw new RuntimeException(e);
        }

    }

    @Bean(name = "TransactionManager")
    @Primary
    public DataSourceTransactionManager testTransactionManager(DataSource routingDataSource) {
        return new DataSourceTransactionManager(routingDataSource);
    }

    @Bean(name = "SqlSessionTemplate")
    @Primary
    public SqlSessionTemplate MasterSqlSessionTemplate(SqlSessionFactory sqlSessionFactory) throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

5.1启动权限shiro问题

注意：配置路由设置后，原来的apache.shiro 权限读取不到问题，排查之后肯定缘由是在使用配置路由设置,原来在application.properties中配置的mybaits属性,将不起做用，所以须要新加一个配置文件(mybatis-config.xml),从中读取配置信息， 其中ShiroConfig配置类中新增注解支持spring

/**
 * 开启Shiro的注解(如@RequiresRoles,@RequiresPermissions),需借助SpringAOP扫描使用Shiro注解的类,并在必要时进行安全逻辑验证
 * 配置如下两个bean(DefaultAdvisorAutoProxyCreator和AuthorizationAttributeSourceAdvisor)便可实现此功能
 * @return
 */
@Bean
@ConditionalOnMissingBean
public DefaultAdvisorAutoProxyCreator defaultAdvisorAutoProxyCreator(){
	DefaultAdvisorAutoProxyCreator advisorAutoProxyCreator = new DefaultAdvisorAutoProxyCreator();
	advisorAutoProxyCreator.setProxyTargetClass(true);
	return advisorAutoProxyCreator;
}

/**
 * 开启shiro aop注解支持.
 * 使用代理方式;因此须要开启代码支持;
 * @param securityManager
 * @return
 * */
@Bean
public AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor(SecurityManager securityManager){
	AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor = new AuthorizationAttributeSourceAdvisor();
	authorizationAttributeSourceAdvisor.setSecurityManager(securityManager);
	return authorizationAttributeSourceAdvisor;
}

6.加载mybatis配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        <setting name="cacheEnabled" value="true" />
        <setting name="lazyLoadingEnabled" value="true" />
        <setting name="multipleResultSetsEnabled" value="true" />
        <setting name="useColumnLabel" value="true" />
        <setting name="useGeneratedKeys" value="false" />
        <setting name="defaultExecutorType" value="SIMPLE" />
        <setting name="mapUnderscoreToCamelCase" value="true" />
        <setting name="logImpl" value="STDOUT_LOGGING" />
    </settings>
</configuration>

7.新建注解来注释使用的数据源

/**
 * describe:DataSource注解来注释Mapper接口所要使用的数据源
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface DataSource {
    String value();//设置数据源类型
}

8.配置Aop

/**
 * describe:配置Aop切换路由选择
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Aspect
@Component
public class DataSourceAspect {
    public Logger logger = LoggerFactory.getLogger(this.getClass());
    /**
     * 在dao层方法获取datasource对象以前，在切面中指定当前线程数据源
     */
    @Pointcut("execution(* com.cn.zx.dao..*.*(..))")//切点为全部的mapper接口
    public void pointcut() {

    }

    @Before("pointcut()")
    public void before(JoinPoint point) {
        System.out.println("before");
        Object target = point.getTarget();
        String method = point.getSignature().getName();
        Class<?>[] classz = target.getClass().getInterfaces();// 获取目标类的接口， 因此@DataSource须要写在接口上
        Class<?>[] parameterTypes = ((MethodSignature) point.getSignature()).getMethod().getParameterTypes();
        try {
            Method m = classz[0].getMethod(method, parameterTypes);
            if (m != null && m.isAnnotationPresent(DataSource.class)) {
                DataSource data = m.getAnnotation(DataSource.class);
                System.out.println("####################用户选择数据库库类型：" + data.value());
                HandleDataSource.putDataSource(data.value());// 数据源放到当前线程中
            }
            logger.info("执行接口方法:{}.{}", point.getSignature().getDeclaringTypeName(), point.getSignature().getName());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

9.设置数据源类型

在对应的mapper方法上使用注解DataSource("master/slave")来设置数据源类型sql

/**
 * 调用主数据源 master
 * @param user
 * @return
 */
@DataSource("master")
Integer insertUser(User user);

/**
 * 调用从数据源 slave
 * @param user
 * @return
 */
@DataSource("slave")
List<User> getUserList(User user);

10.事务失效问题

添加主从数据库之后，事务就失效了，缘由还在找 ,初步定位为： 事务和切面的执行顺序问题 @EnableTransactionManagement(order = 2) @Order(2)数据库

解决：apache

SpringbootApplication启动类增长注解开启事务注解,数据库表引擎更改成innodb，若是是myisam，事务是不起做用的
@EnableTransactionManagement

事务的管理方式有两种： 第一种:编程式事务管理，须要将数据库的自动提交等取消，而且须要本身编写事务代码。 第二种:声明式事务管理模式，spring利用spring AOP特性编写了注解。编程

10.1@Transactional注解的特性

1.service类标签(通常不建议在接口上)上添加@Transactional，能够将整个类归入spring事务管理，在每一个业务方法执行时都会开启一个事务，不过这些事务采用相同的管理方式。而且当在某个service实现类中某个方法调用了另外一个这个实现类中的方法，则两个方法都必须声明事务，才能被当成一个事务进行管理
2.@Transactional 注解只能应用到 public 可见度的方法上。 若是应用在protected、private或者 package可见度的方法上，也不会报错，不过事务设置不会起做用。
3.默认状况下，spring会对unchecked异常进行事务回滚；若是是checked异常则不回滚。

10.2checked异常

那么什么是checked异常，什么是unchecked异常 java里面将派生于Error或者RuntimeException（好比空指针，1/0）的异常称为unchecked异常，其余继承自java.lang.Exception得异常统称为Checked Exception，如IOException、TimeoutException等，通俗一点：你写代码出现的空指针等异常，会被回滚，文件读写，网络出问题，spring就无法回滚了。安全

10.3只读事务

@Transactional(propagation=Propagation.NOT_SUPPORTED,readOnly=true) 
只读标志只在事务启动时应用，不然即便配置也会被忽略。 
启动事务会增长线程开销，数据库因共享读取而锁定(具体跟数据库类型和事务隔离级别有关)。一般状况下，仅是读取数据时，没必要设置只读事务而增长额外的系统开销。

10.4事务传播模式

Propagation枚举了多种事务传播模式，部分列举以下：
1. REQUIRED(默认模式)：业务方法须要在一个容器里运行。若是方法运行时，已经处在一个事务中，那么加入到这个事务，不然本身新建一个新的事务。
2. NOT_SUPPORTED：声明方法不须要事务。若是方法没有关联到一个事务，容器不会为他开启事务，若是方法在一个事务中被调用，该事务会被挂起，调用结束后，原先的事务会恢复执行。
3. REQUIRESNEW：不论是否存在事务，该方法总汇为本身发起一个新的事务。若是方法已经运行在一个事务中，则原有事务挂起，新的事务被建立。
4. MANDATORY：该方法只能在一个已经存在的事务中执行，业务方法不能发起本身的事务。若是在没有事务的环境下被调用，容器抛出例外。
5. SUPPORTS：该方法在某个事务范围内被调用，则方法成为该事务的一部分。若是方法在该事务范围外被调用，该方法就在没有事务的环境下执行。
6. NEVER：该方法绝对不能在事务范围内执行。若是在就抛例外。只有该方法没有关联到任何事务，才正常执行。
7. NESTED：若是一个活动的事务存在，则运行在一个嵌套的事务中。若是没有活动事务，则按REQUIRED属性执行。它使用了一个单独的事务，这个事务拥有多个能够回滚的保存点。内部事务的回滚不会对外部事务形成影响。它只对DataSourceTransactionManager事务管理器起效。

10.5解决Transactional注解不回滚

1. 检查你方法是否是public的。
2. 你的异常类型是否是unchecked异常。空指针异常是unchecked异常,若是我想check异常也想回滚怎么办，注解上面写明异常类型便可。
@Transactional(rollbackFor={Exception.class.RuntimeException.class})
相似的还有norollbackFor，自定义不回滚的异常。若是已经在service中进行了try catch 操做,因为已经被抓获异常,事务也不会回滚
3. 数据库引擎要支持事务，若是是mysql，注意表要使用支持事务的引擎，好比innodb，若是是myisam，事务是不起做用的。
4. 是否开启了对注解的解析
	4.1 SpringMVC中开启：
		<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>
	4.2 pringboot中开启：
		启动类增长注解：@EnableTransactionManagement
		类方法中增长注解：@Transactional
5. spring是否扫描到你这个包，以下是扫描到org.test下面的包
	<context:component-scan base-package="org.test" ></context:component-scan>

10.6数据库引擎设置

mysql数据库引擎innodb设置服务器

10.6.1查看支持的引擎
show engines;
10.6.2查看默认引擎
show variables like 'default_storage_engine';
10.6.3修改默认引擎
修改mysql 默认的数据库引擎
在配置文件my.ini中的 [mysqld] 下面加入default-storage-engine=INNODB
若是启动不起来,找到 skip-innodb 项，将其改成 #skip-innodb（要否则知识修改了 InnoDB 服务起不来）
重启Mysql服务器,设置生效。
10.6.4修改数据表引擎

如数据库名为： epoint,修改数据库表引擎从 MyISAM -> InnoDB网络

10.6.5查询全部表状态
SHOW TABLE STATUS FROM epoint;
10.6.6查询修改表引擎的SQL
SELECT GROUP_CONCAT(CONCAT( 'ALTER TABLE ' ,TABLE_NAME ,' ENGINE=InnoDB; ') SEPARATOR '' ) 
FROM information_schema.TABLES AS t 
WHERE TABLE_SCHEMA = 'epoint' AND TABLE_TYPE = 'BASE TABLE';
10.6.7获得SQL执行
ALTER TABLE branch ENGINE=InnoDB;
10.6.8查询全部表状态
SHOW TABLE STATUS FROM epoint;

修改全部数据库表的引擎为InnoDB结束

11.主从数据库同步问题

主从数据库数据同步问题定位： 1.程序同步。 2.数据库操做同步数据 由于要读写分离，确定要设置数据库权限，主数据库能够读写，从数据库只能读，因此这个方法行不通，只能从数据库方面进行设置主从数据同步。

1.查看mysql的安装路径

经过mysql命令查看mysql的安装路径：

select @@basedir as basePath from dual;
SELECT @@basedir;

获取路径：C:\Program Files\MySQL\MySQL Server 5.7\

2.配置主数据库

在my.ini 文件中找到[mysqld] 添加以下配置（须要同步的数据库有多少均可以写进去，主从同步会根据库名称找到对应的丛库去同步数据）

server-id=1#主库和从库须要不一致
log-bin=mysql-bin
binlog-do-db=mstest#同步的数据库
binlog-ignore-db=mysql#不须要同步的数据库
2.1重启MySql 服务,查询主库状态
mysql> SHOW VARIABLES LIKE 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+
1 row in set

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000007 |     5138 | epoint       |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set
2.2为从库建立帐号,赋值全部权限
grant all on *.* to 'user'@'%' identified by 'user';

3.配置从数据库

在my.ini 文件中找到[mysqld] 添加以下配置（须要同步的数据库有多少均可以写进去，主从同步会根据库名称找到对应的丛库去同步数据）

server-id=2#和主库不一致
replicate-do-db=test#须要同步的库1
replicate-ignore-db=mysql#不须要同步的库
3.1启动从库复制功能
STOP SLAVE; #中止从复制功能的命令
change master to master_host='127.0.0.1',master_port=3306,master_user='slave',master_password='123',master_log_file='mysql-bin.000004',master_log_pos=717;

说明 ： 对应着改为 大家本身的配置，master_host：主库的ip,master_port:主库的端口,master_user:主库给丛库创建的帐号名称,master_password:帐号密码 关于master_log_file 和 Position（'mysql-bin.000005' 98） 是主库配置中的"show master status"获得的;

START SLAVE; #启动从复制功能
RESET SLAVE; #重置从复制功能的配置，会清除 master.info 和 relay-log.info 两个文件
show slave status;   (没有分号)，查看

其中Slave_IO_Running和Slave_SQL_Running属性打开，表示开启

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

配置MySQL主从数据库结束

12.参考博客信息

> 主从Mysql数据库同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201
> 一台电脑装两个MySQL：https://blog.csdn.net/weixin_41953055/article/details/79820221
> server_uuid重复：https://blog.csdn.net/sunbocong/article/details/81634296
> mysql主从同步 binlog-do-db replicate-do-db： https://blog.csdn.net/z69183787/article/details/70183284
> mysql主从数据库同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程