关于应用层面实现数据库分表的思考

超、凢脫俗 2024-03-16 17:47 96阅读 0赞

> 通常在软件开发过程中会出于这样一些原因选择在应用层面分表来代替数据库层面的分区表：
> 
> **数据库平台的限制**：某些数据库平台可能不支持或支持有限的分区功能。如果使用的数据库不支持分区表，那么在应用层进行分表可能是唯一的选择。
> 
> **灵活性和可扩展性**：应用层分表可以提供更大的灵活性和可扩展性。通过在应用层控制分表逻辑，可以根据具体的应用需求进行灵活的分表策略，例如按照时间、地理位置、用户等因素进行分表。这样可以更好地满足应用的需求，避免数据库层面的分区表可能存在的限制。
> 
> **跨数据库平台支持**：如果应用需要在不同的数据库平台上运行，数据库层面的分区表可能在不同的数据库平台上具有不同的实现和语法。而应用层分表可以在不同的数据库平台上采用相同的逻辑进行分表，从而实现更好的跨平台支持。
> 
> **应用层控制**：应用层分表可以让开发人员更直接地控制数据的分布和访问。开发人员可以根据应用的具体需求，灵活地进行数据的分割和路由，以提高查询性能和负载均衡。

### 常见的应用分表策略 ###

**垂直分表**

将一个大型表按照字段的关系划分为多个垂直分表。每个分表包含原始表的一部分字段。这种策略适用于字段之间的访问模式不同或者某些字段的数据量较大的情况。

**水平分表**

将一个大型表按照数据行的关系划分为多个水平分表。每个分表包含原始表的部分数据行。这种策略适用于数据行之间的访问模式不同或者某些数据行的访问频率较高的情况。

**范围分表**

将一个大型表按照某个范围条件划分为多个范围分表。例如，按照时间范围将订单表分为每月一个分表或者按照地理范围将用户表分为每个地区一个分表。这种策略适用于根据特定的查询条件对数据进行过滤和查询的情况。

**哈希分表**

将一个大型表按照哈希算法划分为多个哈希分表。通过对某个字段进行哈希计算，将数据均匀地散列到不同的分表中。这种策略适用于需要将数据均匀地分布在多个分表中，以避免热点数据的情况。

**混合分表**

结合以上多种分表策略的组合，根据具体的应用需求设计分表方案。可以根据数据的特点和访问模式来决定采用哪种分表策略，或者在一个大型表中同时应用多种分表策略。

### 便于springboot应用集成的分表组件 ###

在Spring Boot应用中，有一些常用的分表中间件可用于简化和管理分表操作。以下是一些常见的分表中间件：

**ShardingSphere**（原Apache ShardingSphere）：ShardingSphere是一个开源的分布式数据库中间件，提供了完整的分库分表解决方案。它支持水平分表、垂直分表以及分库分表组合等多种分表策略，并提供了基于注解和配置的方式来实现分表操作。

**MyCAT**：MyCAT是一个开源的MySQL和MariaDB的分布式数据库中间件，支持水平分表和垂直分表等多种分表方式。它可以通过配置规则来实现数据的分片和路由，提供了透明的分表操作接口。

**TDDL**：TDDL（Taobao Distributed Data Layer）是阿里巴巴开源的分布式数据库中间件，支持水平分表和垂直分表等多种分表策略。它可以将数据分散到不同的存储节点，提供了分表规则的配置和管理。

**Cobar**：Cobar是阿里巴巴开源的分布式数据库中间件，支持水平分表和垂直分表等多种分表方式。它提供了自动化的分表规则配置和数据路由功能，简化了分表操作的管理。

> 然而看上去都属于重量级的分表中间件，在支持分表得同时也支持分库，那有没有轻量级一些得呢？我只想在单库中实现分表。经过阅读相关文档，发现shardingSphere其实内部是有个核心件Sharding-jdbc，使用这个就可以了。

### Sharding-Jdbc ###

如果只需要在单个数据库中进行分表，是可以使用Sharding-JDBC来实现单库分表。

以下是一个使用Spring Boot集成Sharding-JDBC的示例代码：

第一步. 添加依赖：  
在\`pom.xml\`文件中添加以下依赖：

<dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>4.1.1</version>
    </dependency>

第二步. 配置数据源：

Sharding-JDBC提供了多种分表策略供选择，常用的分表策略包括：

**\`Inline\`（内联）策略**：将分表字段通过算法表达式内联到SQL中，根据分表字段的值进行分片。示例配置：

tableStrategy:
      inline:
        shardingColumn: id
        algorithmExpression: user_$->{id % 2}

**\`Standard\`（标准）策略**：根据分表字段的范围或枚举值进行分片，由用户自定义的算法决定数据路由。示例配置：

tableStrategy:
      standard:
        shardingColumn: id
        preciseAlgorithmClassName: com.example.PreciseShardingAlgorithm
        rangeAlgorithmClassName: com.example.RangeShardingAlgorithm

**\`Hint\`（提示）策略**：通过手动设置分片键的值，由应用程序显式指定数据路由。示例配置：

tableStrategy:
      hint:
        shardingColumn: id

\`**Complex\`（复合）策略**：通过多个分表字段的组合进行分片，可以自定义算法决定数据路由。示例配置：

tableStrategy:
      complex:
        shardingColumns: col1, col2
        algorithmClassName: com.example.ComplexShardingAlgorithm

除了上述常用的分表策略，Sharding-JDBC还提供了其他一些分表策略，如\`None\`（不分表）、\`HintUnion\`（提示联合）和\`ComplexKeys\`（复合主键）等。可以根据具体的业务需求和数据分片的逻辑选择适合的策略。详细的分表策略配置和示例可以参考Sharding-JDBC的官方文档。

在\`application.yml\`中配置数据库连接信息和Sharding-JDBC的相关配置同时对user表使用内联策略，例如：

spring:
      shardingsphere:
        datasource:
          names: ds0, ds1
          ds0:
            url: jdbc:mysql://localhost:3306/db0
            username: root
            password: root
            driver-class-name: com.mysql.cj.jdbc.Driver
          ds1:
            url: jdbc:mysql://localhost:3306/db1
            username: root
            password: root
            driver-class-name: com.mysql.cj.jdbc.Driver
        sharding:
          tables:
            user:
              actualDataNodes: ds$->{0..1}.user_$->{0..1}
              tableStrategy:
                inline:
                  shardingColumn: id
                  algorithmExpression: user_$->{id % 2}
              keyGenerator:
                column: id
                type: SNOWFLAKE
          props:
            sql.show: true

第三步. 创建数据源配置：  
创建一个配置类\`DataSourceConfig\`，配置数据源和相关的Sharding-JDBC属性：

import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.jdbc.datasource.DataSourceTransactionManager;
    
    import javax.sql.DataSource;
    
    @Configuration
    public class DataSourceConfig {
    
        @Bean
        public DataSource dataSource() {
            // 根据配置创建ShardingDataSource，并返回作为数据源
            return ShardingDataSourceFactory.createDataSource();
        }
    
        @Bean
        public DataSourceTransactionManager transactionManager(DataSource dataSource) {
            // 创建数据源事务管理器
            return new DataSourceTransactionManager(dataSource);
        }
    }

第四步. 创建数据访问层（DAO）：  
创建一个用户数据访问接口\`UserDAO\`，定义对用户表的操作方法：

import org.apache.ibatis.annotations.Insert;
    import org.apache.ibatis.annotations.Mapper;
    
    @Mapper
    public interface UserMapper {
    
        @Insert("INSERT INTO user (id, name) VALUES (#{id}, #{name})")
        void addUser(User user);
    }

第五步. 使用数据访问层：  
在业务逻辑层或控制器中使用数据访问接口\`UserDAO\`进行数据操作：

import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Service;
    import org.springframework.transaction.annotation.Transactional;
    
    @Service
    @Transactional
    public class UserService {
    
        private final UserMapper userMapper;
    
        @Autowired
        public UserService(UserMapper userMapper) {
            this.userMapper = userMapper;
        }
    
        public void addUser(User user) {
            userMapper.addUser(user);
        }
    }

**疑惑**：使用sharding-jdbc会影响正常得分页查询吗

事实上使用Sharding-JDBC不会影响正常的分页查询。Sharding-JDBC是一个用于数据库分片的开源框架，提供了透明的数据分片功能，可以将一个数据库逻辑上划分为多个物理数据库，从而实现数据的水平分片存储和查询。**Sharding-JDBC的设计目标是尽量保持对用户透明，使得应用程序无需修改原有的SQL语句即可实现数据分片。**

当使用Sharding-JDBC进行分片查询时，可以像正常的分页查询一样编写SQL语句，只需在查询条件中指定分页参数（例如LIMIT语句），Sharding-JDBC会根据配置将查询分发到相应的分片数据库上执行，并返回正确的结果集。Sharding-JDBC会自动将分页查询的结果合并，确保返回的结果按照正确的顺序和数量进行分页。

需要注意的是，分页查询的性能可能会受到数据分片的影响。由于查询涉及多个分片数据库，可能需要在多个数据库上执行查询操作，并将结果进行合并。这可能会导致分页查询的性能相对于非分片查询略有下降。然而，Sharding-JDBC提供了一些优化机制和配置选项，可以帮助优化查询性能，如数据分片策略、读写分离等。