celery笔记七之周期/定时任务及crontab定义

柔光的暖阳◎ 2024-03-17 13:36 136阅读 0赞

periodic task，即为周期，或者定时任务，比如说每天晚上零点零分需要运行一遍某个函数，或者每隔半小时运行一遍该函数，都是这种任务的范畴。

在第一篇笔记的时候我们就介绍过 celery 的组件构成，其中有一个组件叫做 beat，就是我们定时任务的调度器。

所有的定时任务都由 beat 发出，这种情况下，你必须确保在同一个时间点只有一个 beat 任务调度器在运行，假设有两个 beat 同时在运行，那么在检测定时任务的时候，系统的任务就可能会被重复发起、调用、执行。

1.  beat\_schedule 定义
2.  beat 启动
3.  crontab介绍

#### 1、beat\_schedule 定义 ####

我们来定义两个定时任务，一个是 blog.tasks.add，定义为每隔 30s 执行一次，现在晚上11点45分，我们定义每天11点50分执行一次。

在进行这些操作前，我们还需要对时区有一些设置，因为我们设置的晚上11点是北京时间，而 Django 和 celery 默认是格林威治时间。

**时区设置**

我们使用 Django 系统，一些配置在 settigns.py 中定义，详情可以见前几篇笔记的 celery 与 Django 系统使用。

关于时区，Django 系统和 celery 的时区我们都设置成北京时间：

# settings.py
    
    # django 时区设置
    TIME_ZONE = "Asia/Shanghai"
    USE_TZ = False
    
    # celery 时区设置 
    CELERY_TIMEZONE = "Asia/Shanghai"
    CELERY_ENABLE_UTC = False
    DJANGO_CELERY_BEAT_TZ_AWARE = False

**定时任务定义**

接下来，我们定义定时任务：

from celery.schedules import crontab
    
    app.conf.beat_schedule = {
        'add-every-30-seconds': {
            'task': 'blog.tasks.add',
            'schedule': 30,
            'args': (16, 16),
        },
        'schedule_test_add': {
            'task': 'blog.tasks.minus',
            'schedule': crontab(minute="50", hour="23"),
        },
    }

定时任务的定义是我们通过 app.conf.beat\_schedule 来操作，一个任务我们定义一个 name 作为 key

在每个 task 下，分别有以下选项：

**task**：指向我们定义的任务，比如我们这个是指向 blog application 下 tasks.add 任务

**schedule**：定时任务的策略，如果直接定义一个整数，比如定义的 add-every-30-seconds task 的这个参数定义为 30，就会每隔30s 执行一次

而如果使用 crontab() 函数，则可以更自由的定义到每个月，每周，每天，每时每秒，在示例中我们定义 minute="50", hour="23" 表示每天 23点50分执行一次

更详细的策略我们下面再详细介绍。

**args**：定时任务的参数，比如 add() 函数，我们每隔 30s 执行一次，给定的两个参数是 (16, 16)，对应 add(x, y) 输入的两个值

#### 2、beat 启动 ####

beat 的启动方式和 worker 启动方式一致，将 worker 改成 beat 即可：

celery -A hunter beat -l INFO

也可以指定日志的输出文件：

celery -A hunter beat -l INFO --logfile=/Users/hunter/python/celery_log/beat.log

当我们启动 beat 的时候，会发现启动的文件夹下会有一个名为 celerybeat-schedule.db 的文件，这个是 beat 保存在本地的上一次任务运行的时间的数据，我们也可以指定该文件的输出地址：

celery -A hunter beat -l INFO -s /Users/hunter/python/celery_log/celerybeat-schedule

如果我们需要运行定时任务，我们需要额外启动两个服务，一个是 beat，一个是 worker

一般来说我们会先启动 worker，再启动 beat，这样 beat 有一些立即发出的任务就可以直接被 worker 接收然后运行。

#### 3、crontab介绍 ####

我们使用 crontab() 函数制定定时任务的时间策略，比如每天运行一次，或者指定周几运行都可以实现。

如果你之前接触过 Linux 服务器上的 crontab 服务，那么就不用担心理解它的使用方式，如果没有，我们可以看看下面官方文档对着的介绍。

在 celery 里，crontab 函数通过 from celery.schedules import crontab 引入，在 beat\_schedule 的定义里作为 schedule 的值，这个前面给过一个示例。

crontab 接受五个参数：

*  minute 表示分钟，接收整数或者整数列表，范围在0-59，或者字符串表示配置的时间模式
 *  hour 表示小时，接收整数或者整数列表，范围在0-23，或者接收字符串表示配置的时间模式
 *  day\_of\_week 表示周几，接收整数或者整数列表，范围在0-6，其中周日是0，周六是6，或者接收字符串表示配置的时间模式
 *  day\_of\_month 表示一个月的第几天，接收整数或者整数列表，范围在1-31，或者接收字符串表示配置的时间模式
 *  month\_of\_year 表示一年的第几个月，接收整数或者整数列表，范围在1-12，或者接收字符串表示配置的时间模式

**minute 和 hour**

minute 和 hour 直接指向一天的某个时间点，所以，这两个参数相当于是必填，除非是某些特殊的情况，比如默认的每分钟执行一次：

crontab()

上面的命令，什么参数也不传，表示的是每隔一分钟执行一次

如果我们想指定特定的时间点，比如每天晚上11点23分执行一次：

crontab(minute=23, hour=23)

如果我们想指定某一些分钟，比如分别在 23点11分，23点25分，23点44分钟分别执行一次，可以如下操作：

crontab(minute="11,25,44", hour=23)

如果是上面这种没有特殊关系的时间点，我们可以这样通过逗号分隔连接起来，如果是有特殊关系的，比如说，每隔一分钟，或者每隔三分钟，我们可以通过 `*/n` 的方式来连接。

23点之内，每隔三分钟执行一次函数可以如下操作：

crontab(minute="*/3", hour=23)

这里的每隔 n 分钟，其实是 n 的倍数，比如说 `*/3` 就是在 0,3,6,9,12... 等这些分钟数上执行。