Spring Boot基于sharding-jdbc、Hibernate Shards实现MySQL分库分表

超、凢脫俗 2023-09-29 23:16 34阅读 0赞

#### MySQL分库分表 ####

*  一、基于Sharding-JDBC的MySQL分库分表实现
 *   *  （1）pom.xml文件中添加sharding-jdbc和mysql-connector-java依赖
     *  （2）创建Sharding-JDBC的数据源配置文件
     *  （3）创建Sharding-JDBC的分片策略
     *  （4）使用Sharding-JDBC的分库分表
     *  （5）Sharding-JDBC的优缺点
 *  二、基于Hibernate Shards的MySQL分库分表实现
 *   *  （1）pom.xml文件中添加hibernate-shards、hibernate-core和mysql-connector-java依赖
     *  （2）创建Hibernate Shards的数据源配置文件
     *  （3）配置Hibernate Shards的分片策略和分片键
     *  （4）使用Hibernate Shards实现MySQL分库分表
 *  总结

![在这里插入图片描述][f0d3e0d97f5c402b90948195d77262bd.png]

## 一、基于Sharding-JDBC的MySQL分库分表实现 ##

**Sharding-JDBC简介**  
Sharding-JDBC是一款基于JDBC的分布式数据库中间件，它采用了分片策略、读写分离、分布式事务等功能，实现了分库分表的功能。它的分片策略可以根据分片键的值将数据分散到不同的数据库和表中。

**Sharding-JDBC的分库分表实现**

### （1）pom.xml文件中添加sharding-jdbc和mysql-connector-java依赖 ###

<dependency>
        <groupId>io.shardingsphere</groupId>
        <artifactId>sharding-jdbc-core</artifactId>
        <version>${sharding.jdbc.version}</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>${mysql.version}</version>
    </dependency>

### （2）创建Sharding-JDBC的数据源配置文件 ###

Sharding-JDBC的数据源配置文件分为3个部分：数据源配置、分片规则配置、读写分离配置。下面是一个简单的数据源配置文件示例：

spring:
      shardingsphere:
        datasource:
          names: ds0, ds1
          ds0:
            type: com.zaxxer.hikari.HikariDataSource
            driver-class-name: com.mysql.jdbc.Driver
            jdbc-url: jdbc:mysql://localhost:3306/db0?useSSL=false
            username: root
            password: root
          ds1:
            type: com.zaxxer.hikari.HikariDataSource
            driver-class-name: com.mysql.jdbc.Driver
            jdbc-url: jdbc:mysql://localhost:3306/db1?useSSL=false
            username: root
            password: root
        sharding:
          tables:
            t_order:
              actual-data-nodes: ds${
        0..1}.t_order_${
        0..1}
              table-strategy:
                inline:
                  sharding-column: order_id
                  algorithm-expression: t_order_${
        order_id % 2}
              key-generator:
                column: order_id
                type: SNOWFLAKE

### （3）创建Sharding-JDBC的分片策略 ###

Sharding-JDBC提供了多种分片策略，包括:StandardShardingStrategy、ComplexShardingStrategy、HintShardingStrategy等。下面是一个使用StandardShardingStrategy的示例：

public class StandardShardingTableAlgorithm implements PreciseShardingAlgorithm<Long> {
        
    
        @Override
        public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        
            long value = shardingValue.getValue();
            String suffix = value % 2 == 0 ? "0" : "1";
            for (String tableName : availableTargetNames) {
        
                if (tableName.endsWith(suffix)) {
        
                    return tableName;
                }
            }
            throw new IllegalArgumentException();
        }
    }

### （4）使用Sharding-JDBC的分库分表 ###

使用Sharding-JDBC的分库分表非常简单，只需要在DAO层使用普通的JDBC代码即可。

### （5）Sharding-JDBC的优缺点 ###

> **优点**
> 
> 高效性：Sharding-JDBC基于JDBC接口实现，使用起来非常简单，不需要特别复杂的配置和编码。  
> 可扩展性：Sharding-JDBC提供了多种分片策略，可以根据业务需求灵活配置分片规则。  
> 高可用性：Sharding-JDBC支持读写分离、分布式事务等功能，保证系统的高可用性和数据一致性。  
> **缺点**
> 
> 数据分布不均衡：由于Sharding-JDBC使用的是Hash算法进行分片，当分片键的分布不均匀时，可能会导致数据分布不均衡的情况。  
> 不支持动态增加数据库和表：Sharding-JDBC的分片规则是静态的，无法支持动态增加数据库和表的情况。

## 二、基于Hibernate Shards的MySQL分库分表实现 ##

**Hibernate Shards简介**  
Hibernate Shards是一个基于Hibernate的分布式数据库中间件，它通过使用Shard API，将Hibernate ORM框架的对象映射功能与分片数据库中间件相结合，实现了分库分表的功能。

**Hibernate Shards的分库分表实现**

### （1）pom.xml文件中添加hibernate-shards、hibernate-core和mysql-connector-java依赖 ###

<dependency>
        <groupId>org.hibernate</groupId>
        <artifactId>hibernate-shards</artifactId>
        <version>${hibernate.shards.version}</version>
    </dependency>
    <dependency>
        <groupId>org.hibernate</groupId>
        <artifactId>hibernate-core</artifactId>
        <version>${hibernate.version}</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>${mysql.version}</version>
    </dependency>

### （2）创建Hibernate Shards的数据源配置文件 ###

Hibernate Shards的数据源配置文件可以使用Hibernate的StandardServiceRegistryBuilder类来创建，下面是一个简单的数据源配置文件示例：

public class HibernateShardsConfiguration {
        
    
        private static final String[] ENTITY_PACKAGES = new String[]{
        "com.example.model"};
    
        private static final String[] CONFIG_FILES = new String[]{
        "hibernate.cfg.xml"};
    
        public static SessionFactory createSessionFactory() {
        
            Map<String, DataSource> dataSourceMap = new HashMap<>();
            dataSourceMap.put("shard0", createDataSource("jdbc:mysql://localhost:3306/db0", "root", "root"));
            dataSourceMap.put("shard1", createDataSource("jdbc:mysql://localhost:3306/db1", "root", "root"));
            ShardStrategyFactory shardStrategyFactory = new RoundRobinShardStrategyFactory();
            ShardResolutionStrategy shardResolutionStrategy = new ShardResolutionStrategyDefaultImpl(shardStrategyFactory);
            ShardedConfiguration shardedConfiguration = new ShardedConfiguration(dataSourceMap, shardResolutionStrategy, true);
            Configuration configuration = new Configuration().configure(CONFIG_FILES[0]);
            for (String entityPackage : ENTITY_PACKAGES) {
        
                configuration.addPackage(entityPackage);
            }
            StandardServiceRegistryBuilder serviceRegistryBuilder = new StandardServiceRegistryBuilder();
    		serviceRegistryBuilder.applySettings(configuration.getProperties());
    		serviceRegistryBuilder.applySettings(shardedConfiguration.getProperties());
    		ServiceRegistry serviceRegistry = serviceRegistryBuilder.build();
    		SessionFactory sessionFactory = configuration.buildSessionFactory(serviceRegistry);
    		return sessionFactory;
    		}
    
    
    	private static DataSource createDataSource(String url, String username, String password) {
        
    	    BasicDataSource dataSource = new BasicDataSource();
    	    dataSource.setDriverClassName("com.mysql.jdbc.Driver");
    	    dataSource.setUrl(url);
    	    dataSource.setUsername(username);
    	    dataSource.setPassword(password);
    	    return dataSource;
    	}
    }

### （3）配置Hibernate Shards的分片策略和分片键 ###

Hibernate Shards支持多种分片策略，包括Hash分片、Range分片、Modulus分片等。下面以Hash分片为例，演示如何配置Hibernate Shards的分片策略和分片键。

首先需要在实体类上添加@Shardable注解，指定该实体类需要分片。然后需要在实体类的属性上添加@ShardKey注解，指定该属性为分片键。

@Entity
    @Table(name = "t_order")
    @Shardable
    public class Order {
        
        @Id
        @GeneratedValue(strategy = GenerationType.IDENTITY)
        private Long orderId;
        @ShardKey
        private Long userId;
        private String status;
        private BigDecimal amount;
        // 省略getter和setter方法
    }

接下来需要在hibernate.cfg.xml文件中配置Hibernate Shards的分片策略和分片键：

<hibernate-configuration>
        <session-factory>
            <mapping class="com.example.model.Order"/>
            <property name="hibernate.dialect">org.hibernate.dialect.MySQL5Dialect</property>
            <property name="hibernate.shard.connection.provider_factory">
                org.hibernate.shards.connection.RoundRobinShardConnectionProviderFactory
            </property>
            <property name="hibernate.shard.id_resolver">
                org.hibernate.shards.resolver.MultiTenantConnectionProviderBasedShardIdResolver
            </property>
            <property name="hibernate.shard.id_resolver.multi_tenant_connection_provider">
                org.hibernate.shards.resolver.MultiTenantConnectionProvider
            </property>
            <property name="hibernate.shard.strategy">
                org.hibernate.shards.strategy.roundrobin.RoundRobinShardStrategy
            </property>
            <property name="hibernate.shard.strategy.selection_strategy">
                org.hibernate.shards.strategy.picking.RoundRobinShardSelectionStrategy
            </property>
            <property name="hibernate.shard.strategy.resolution_strategy">
                org.hibernate.shards.strategy.resolution.RoundRobinShardResolutionStrategy
            </property>
            <property name="hibernate.shard.table_shard_strategy">
                org.hibernate.shards.strategy.ShardTableDefaultShardStrategy
            </property>
            <property name="hibernate.shard.table_shard_strategy.value">
                user_id
            </property>
            <property name="hibernate.shard.association_proxy_factory_class">
                org.hibernate.shards.util.associationproxy.BasicAssociationProxyFactory
            </property>
        </session-factory>
    </hibernate-configuration>

### （4）使用Hibernate Shards实现MySQL分库分表 ###

使用Hibernate Shards实现MySQL分库分表的操作与使用Hibernate ORM框架的操作类似。下面是一个简单的示例代码：

@Service
    public class OrderService {
        
        @Autowired
    	private SessionFactory sessionFactory;
    	
    	public OrderService(SessionFactory sessionFactory) {
        
    	    this.sessionFactory = sessionFactory;
    	}
    	
    	@Transactional
    	public void saveOrder(Order order) {
        
    	    Session session = sessionFactory.getCurrentSession();
    	    session.save(order);
    	}
    	
    	@Transactional(readOnly = true)
    	public List<Order> getOrdersByUserId(Long userId) {
        
    	    Session session = sessionFactory.getCurrentSession();
    	    Query query = session.createQuery("from Order o where o.userId = :userId");
    	    query.setParameter("userId", userId);
    	    return query.list();
    	}
    }

在上述代码中，我们注入了一个SessionFactory对象，使用getCurrentSession()方法获取Session对象进行数据库操作。在保存订单时，Hibernate Shards会自动将订单保存到对应的分片库和分片表中，而在根据用户ID查询订单时，Hibernate Shards会自动在所有分片库和分片表中查询数据并将结果合并返回。

## 总结 ##

本文介绍了三种实现MySQL分库分表的方案：sharding-jdbc、Hibernate Shards和TDDL，并针对每种方案给出了详细的实现步骤和示例代码。这三种方案各有优缺点，选择哪种方案需要根据具体业务需求和技术架构进行综合考虑。无论选择哪种方案，都需要进行合理的分片策略设计和性能优化，以确保分库分表方案的可靠性和高效性。

Regenerate response

[f0d3e0d97f5c402b90948195d77262bd.png]: https://img-blog.csdnimg.cn/f0d3e0d97f5c402b90948195d77262bd.png