几种主流的分布式定时任务，你知道哪些？

逃离我推掉我的手 2023-10-06 21:59 108阅读 0赞

### 单点定时任务 ###

#### JDK原生 ####

自从JDK1.5之后，提供了`ScheduledExecutorService`代替TimerTask来执行定时任务，提供了不错的可靠性。

public class SomeScheduledExecutorService {
        public static void main(String[] args) {
            // 创建任务队列，共 10 个线程
            ScheduledExecutorService scheduledExecutorService =
                    Executors.newScheduledThreadPool(10);
            // 执行任务: 1秒 后开始执行，每 30秒 执行一次
            scheduledExecutorService.scheduleAtFixedRate(() -> {
                System.out.println("执行任务：" + new Date());
            }, 10, 30, TimeUnit.SECONDS);
        }
    }

#### Spring Task ####

`Spring Framework`自带定时任务，提供了cron表达式来实现丰富定时任务配置。新手推荐使用`https://cron.qqe2.com/`这个网站来匹配你的`cron表达式`。

@Configuration
    @EnableScheduling
    public class SomeJob {
        private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class);
    
        /**
         * 每分钟执行一次（例：18:01:00，18:02:00）
         * 秒 分钟 小时 日 月 星期 年
         */
        @Scheduled(cron = "0 0/1 * * * ? *")
        public void someTask() {
           //...
        }
    }

单点的定时服务在目前微服务的大环境下，应用场景越来越局限，所以尝鲜一下分布式定时任务吧。

#### 基于 Redis 实现 ####

相较于之前两种方式，这种基于Redis的实现可以通过多点来增加定时任务，多点消费。但是要做好防范重复消费的准备。

通过ZSet的方式

将定时任务存放到ZSet集合中，并且将过期时间存储到ZSet的Score字段中，然后通过一个循环来判断当前时间内是否有需要执行的定时任务，如果有则进行执行。

具体实现代码如下：

/**
     * Description: 基于Redis的ZSet的定时任务 .<br>
     *
     * @author mxy
     */
    @Configuration
    @EnableScheduling
    public class RedisJob {
        public static final String JOB_KEY = "redis.job.task";
        private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);
        @Autowired private StringRedisTemplate stringRedisTemplate;
    
        /**
         * 添加任务.
         *
         * @param task
         */
        public void addTask(String task, Instant instant) {
            stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());
        }
    
        /**
         * 定时任务队列消费
         * 每分钟消费一次（可以缩短间隔到1s）
         */
        @Scheduled(cron = "0 0/1 * * * ? *")
        public void doDelayQueue() {
            long nowSecond = Instant.now().getEpochSecond();
            // 查询当前时间的所有任务
            Set<String> strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond);
            for (String task : strings) {
                // 开始消费 task
                LOGGER.info("执行任务:{}", task);
            }
            // 删除已经执行的任务
            stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);
        }
    }

适用场景如下：

*  订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。
 *  红包24小时未被查收，需要延迟执退还业务；
 *  某个活动指定在某个时间内生效&失效；

优势是：

*  省去了MySQL的查询操作，而使用性能更高的Redis做为代替；
 *  不会因为停机等原因，遗漏要执行的任务；

键空间通知的方式

我们可以通过Redis的键空间通知来实现定时任务，它的实现思路是给所有的定时任务设置一个过期时间，等到了过期之后，我们通过订阅过期消息就能感知到定时任务需要被执行了，此时我们执行定时任务即可。

默认情况下Redis是不开启键空间通知的，需要我们通过`config set notify-keyspace-events Ex`的命令手动开启。开启之后定时任务的代码如下:

自定义监听器

/**
      * 自定义监听器.
      */
    public class KeyExpiredListener extends KeyExpirationEventMessageListener {
        public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
            super(listenerContainer);
        }
    
        @Override
        public void onMessage(Message message, byte[] pattern) {
            // channel
            String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
            // 过期的key
            String key = new String(message.getBody(), StandardCharsets.UTF_8);
            // todo 你的处理
        }
    }

设置该监听器

/**
     * Description: 通过订阅Redis的过期通知来实现定时任务 .<br>
     *
     * @author mxy
     */
    @Configuration
    public class RedisExJob {
        @Autowired private RedisConnectionFactory redisConnectionFactory;
        @Bean
        public RedisMessageListenerContainer redisMessageListenerContainer() {
            RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
            redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
            return redisMessageListenerContainer;
        }
    
        @Bean
        public KeyExpiredListener keyExpiredListener() {
            return new KeyExpiredListener(this.redisMessageListenerContainer());
        }
    }

Spring会监听符合以下格式的Redis消息

private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");

基于Redis的定时任务能够适用的场景也比较有限，但实现上相对简单，但对于功能幂等有很大要求。从使用场景上来说，更应该叫做延时任务。

场景举例:

*  订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。
 *  红包24小时未被查收，需要延迟执退还业务；

优劣势是：

*  被动触发，对于服务的资源消耗更小；
 *  Redis的Pub/Sub不可靠，没有ACK机制等，但是一般情况可以容忍；
 *  键空间通知功能会耗费一些CPU

### 分布式定时任务 ###

#### 引入分布式定时任务组件or中间件 ####

将定时任务作为单独的服务，遏制了重复消费，独立的服务也有利于扩展和维护。

quartz

依赖于MySQL，使用相对简单，可多节点部署，通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面，使用相对麻烦。