使用Supervisor来管理你的Laravel队列

小灰灰 2023-10-06 16:35 148阅读 0赞

## 使用Supervisor来管理你的Laravel队列 ##

> Laravel官网教程中，并没有提到用它来写CLI应用，即守护进程或者可执行脚本。但是它却提供了更加便捷的队列(Queue)功能。

简明思路：其实Supervisor就是用来维护laravel队列监听命令的。

在`vi /etc/supervisord.conf`查看目录

[include]
    files = supervisord.d/*.ini

创建文件：在supervisord.d目录下创建lavarel\_worker.ini

[root@bogon supervisord.d]# vi lavarel_worker.ini 
    [root@bogon supervisord.d]# vi /etc/supervisord.conf 
    [root@bogon supervisord.d]# pwd
    /etc/supervisord.d

lavarel\_worker.ini文件里在维护队列命令，所以就不用手动在运行php php artisan queue:listen这样的命令，另一个好处如果进程挂掉会自行重启起到了一个维护的作用。

[program:laravel-worker]
    process_name=%(program_name)s_%(process_num)02d
    command=php /www/wwwroot/textlaravel.cc/laravel5/artisan queue:work --sleep=3 --tries=3
    autostart=true
    autorestart=true
    #user=forge
    numprocs=8
    redirect_stderr=true
    stdout_logfile=/www/wwwroot/textlaravel.cc/laravel5/storage/logs/worker.log

### laravel\_worker.ini ###

# [program:x] 配置：
    # 格式为“program”单词，加一个英文冒号，加自定义的程序名称。如 `[program:foo]`，上下文中可使用表达式 %(program_name)s 引用程序名称。
    [program:laravel-worker]
    
    # 指定进程的命名规则：foo_00，foo_01...
    process_name=%(program_name)s_%(process_num)02d
    
    # command 必须。程序启动后执行的命令，可以是绝对命令，也可以是相对命令（在环境$PATH中搜索可执行文件）。受控的程序本身不应该是守护程序。
    command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3
    
    # Supervisor 启动时自动启动该程序
    autostart=true
    
    # 指定进程挂掉时 Supervisor 自动重启进程
    autorestart=true
    
    # 指定运行进程使用的用户，需要 Supervisor 以root用户运行。使用 setuid 切换用户，不会启动shell程序和改变环境变量
    user=forge
    
    # 运行和监控的进程数量，进程位于laravel-worker组内，指定该值需同时设置process_name包含%(process_num)s
    numprocs=8
    
    # 将 stderr 错误输出重定向到 stdout 标准输出
    redirect_stderr=true
    
    # 将进程的 stdout 标准输出写入文件中，设为NONE不会创建任何日志文件。
    stdout_logfile=/home/forge/app.com/worker.log

### Laravel队列说明 ###

我们在开发应用过程中难免会遇到处理耗时任务的需求，这些任务如果直接在用户的请求中处理，必然会导致页面显示被阻塞。

虽然利用`fastcgi`的一些特性可以先输出页面，后台任务继续执行，但是这样远远不如将任务交给异步队列来处理方便。

### 队列配置和启动说明 ###

Laravel队列功能为我们提供了一个便捷的方式去处理这些异步任务，配置一个队列只需要以下几步：

*  1 配置`app/config/queue.php`中的default配置项为系统中的队列系统，sync是直接执行，并不是异步队列。
 *  2 创建队列处理类，如`app/Jobs/SendMail`。
 *  3 将应用中的一个任务推送到队列`Queue::push('SendMail')`
 *  4 启动`Laravel`队列监听器`php artisan queue:listen`或者用`php artisan queue:work`处理队头的一条消息

### Laravel队列并行处理说明 ###

如果使用过`Laravel`队列的朋友应该发现，`queue:listen`是线性执行的，即一个任务做完以后才会读取下一条任务。这样并不能满足我们日常的异步耗时任务处理的需求，于是有人建议启动多个`queue:listen`。

`php artisan queue:listen && php artisan queue:listen ...`

这样虽然理论上是可行的，因为在异步队列的帮助下，程序并不会出现冲突。

但是由于PHP本身对内存处理的缺陷，很难保证一个长期运行在后台的程序不出现内存泄露，例如`queue:listen`这样的死循环程序。

因此在正式环境中我们更倾向于使用多个`queue:work`并行执行异步队列中的任务。

`queue:work`只是读取队首的一项任务，执行完成后即结束程序，如果没有任务也会结束程序。这个方式类似于PHP对于WEB请求的处理，不会出现内存泄露。

利用`Supervisor`可以便捷的创建基于`queue:work`的异步队列并行处理。

### Supervisor说明 ###

Supervisor是一个进程控制系统，由python编写，它提供了大量的功能来实现对进程的管理。

*  1 程序的多进程启动，可以配置同时启动的进程数，而不需要一个个启动
 *  2 程序的退出码，可以根据程序的退出码来判断是否需要自动重启
 *  3 程序所产生日志的处理
 *  4 进程初始化的环境，包括目录，用户，umask，关闭进程所需要的信号等等
 *  5 手动管理进程(开始，启动，重启，查看进程状态)的web界面，和xmlrpc接口

#### Centos7安装Supervisor ####

> supervisor：要安装的软件的名称。  
> supervisord：装好supervisor软件后，supervisord用于启动supervisor服务。  
> supervisorctl：用于管理supervisor配置文件中program和supervisor服务本身。

方法一、使用yum命令安装（推荐）

$ sudo su - #切换为root用户
    
    # yum install epel-release
    # yum install -y supervisor
    # systemctl enable supervisord # 开机自启动
    # systemctl start supervisord # 启动supervisord服务
    
    # systemctl status supervisord # 查看supervisord服务状态
    # ps -ef|grep supervisord # 查看是否存在supervisord进程

参考文献：https://blog.csdn.net/donggege214/article/details/80264811

#### supervisord.conf配置文件说明 ####

`# vim /etc/supervisord.conf`

配置项示例如下，后面我们会详细创建一个独有的Laravel配置

; Sample supervisor config file.
    ;
    ; For more information on the config file, please see:
    ; http://supervisord.org/configuration.html
    ;
    ; Note: shell expansion ("~" or "$HOME") is not supported.  Environment
    ; variables can be expanded using this syntax: "%(ENV_HOME)s".
     
    [unix_http_server]          ; supervisord的unix socket服务配置
    file=/tmp/supervisor.sock   ; socket文件的保存目录
    ;chmod=0700                 ; socket的文件权限 (default 0700)
    ;chown=nobody:nogroup       ; socket的拥有者和组名
    ;username=user              ; 默认不需要登陆用户 (open server)
    ;password=123               ; 默认不需要登陆密码 (open server)
     
    ;[inet_http_server]         ; supervisord的tcp服务配置
    ;port=127.0.0.1:9001        ; tcp端口
    ;username=user              ; tcp登陆用户
    ;password=123               ; tcp登陆密码
     
    [supervisord]                ; supervisord的主进程配置
    logfile=/tmp/supervisord.log ; 主要的进程日志配置
    logfile_maxbytes=50MB        ; 最大日志体积，默认50MB
    logfile_backups=10           ; 日志文件备份数目，默认10
    loglevel=info                ; 日志级别，默认info; 还有:debug,warn,trace
    pidfile=/tmp/supervisord.pid ; supervisord的pidfile文件
    nodaemon=false               ; 是否以守护进程的方式启动
    minfds=1024                  ; 最小的有效文件描述符，默认1024
    minprocs=200                 ; 最小的有效进程描述符，默认200
    ;umask=022                   ; 进程文件的umask，默认200
    ;user=chrism                 ; 默认为当前用户，如果为root则必填
    ;identifier=supervisor       ; supervisord的表示符, 默认时'supervisor'
    ;directory=/tmp              ; 默认不cd到当前目录
    ;nocleanup=true              ; 不在启动的时候清除临时文件，默认false
    ;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
    ;environment=KEY=value       ; 初始键值对传递给进程
    ;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)
     
    ; the below section must remain in the config file for RPC
    ; (supervisorctl/web interface) to work, additional interfaces may be
    ; added by defining them in separate rpcinterface: sections
    [rpcinterface:supervisor]
    supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
     
    [supervisorctl]
    serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
    ;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
    ;username=chris              ; 如果设置应该与http_username相同
    ;password=123                ; 如果设置应该与http_password相同
    ;prompt=mysupervisor         ; 命令行提示符，默认"supervisor"
    ;history_file=~/.sc_history  ; 命令行历史纪录
     
    ; The below sample program section shows all possible program subsection values,
    ; create one or more 'real' program: sections to be able to control them under
    ; supervisor.
     
    ;[program:theprogramname]
    ;command=/bin/cat              ; 运行的程序 (相对使用PATH路径, 可以使用参数)
    ;process_name=%(program_name)s ; 进程名表达式，默认为%(program_name)s
    ;numprocs=1                    ; 默认启动的进程数目，默认为1
    ;directory=/tmp                ; 在运行前cwd到指定的目录，默认不执行cmd
    ;umask=022                     ; 进程umask，默认None
    ;priority=999                  ; 程序运行的优先级，默认999
    ;autostart=true                ; 默认随supervisord自动启动，默认true
    ;autorestart=unexpected        ; whether/when to restart (default: unexpected)
    ;startsecs=1                   ; number of secs prog must stay running (def. 1)
    ;startretries=3                ; max # of serial start failures (default 3)
    ;exitcodes=0,2                 ; 期望的退出码，默认0,2
    ;stopsignal=QUIT               ; 杀死进程的信号，默认TERM
    ;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
    ;stopasgroup=false             ; 向unix进程组发送停止信号，默认false
    ;killasgroup=false             ; 向unix进程组发送SIGKILL信号，默认false
    ;user=chrism                   ; 为运行程序的unix帐号设置setuid
    ;redirect_stderr=true          ; 将标准错误重定向到标准输出，默认false
    ;stdout_logfile=/a/path        ; 标准输出的文件路径NONE＝none;默认AUTO
    ;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
    ;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
    ;stdout_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
    ;stdout_events_enabled=false   ; emit events on stdout writes (default false)
    ;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
    ;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
    ;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
    ;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
    ;stderr_events_enabled=false   ; emit events on stderr writes (default false)
    ;environment=A=1,B=2           ; process environment additions (def no adds)
    ;serverurl=AUTO                ; override serverurl computation (childutils)
     
    ; The below sample eventlistener section shows all possible
    ; eventlistener subsection values, create one or more 'real'
    ; eventlistener: sections to be able to handle event notifications
    ; sent by supervisor.
     
    ;[eventlistener:theeventlistenername]
    ;command=/bin/eventlistener    ; 运行的程序 (相对使用PATH路径, 可以使用参数)
    ;process_name=%(program_name)s ; 进程名表达式，默认为%(program_name)s
    ;numprocs=1                    ; 默认启动的进程数目，默认为1
    ;events=EVENT                  ; event notif. types to subscribe to (req'd)
    ;buffer_size=10                ; 事件缓冲区队列大小，默认10
    ;directory=/tmp                ; 在运行前cwd到指定的目录，默认不执行cmd
    ;umask=022                     ; 进程umask，默认None
    ;priority=-1                   ; 程序运行的优先级，默认-1
    ;autostart=true                ; 默认随supervisord自动启动，默认true
    ;autorestart=unexpected        ; whether/when to restart (default: unexpected)
    ;startsecs=1                   ; number of secs prog must stay running (def. 1)
    ;startretries=3                ; max # of serial start failures (default 3)
    ;exitcodes=0,2                 ; 期望的退出码，默认0,2
    ;stopsignal=QUIT               ; 杀死进程的信号，默认TERM
    ;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
    ;stopasgroup=false             ; 向unix进程组发送停止信号，默认false
    ;killasgroup=false             ; 向unix进程组发送SIGKILL信号，默认false
    ;user=chrism                   ; setuid to this UNIX account to run the program
    ;redirect_stderr=true          ; redirect proc stderr to stdout (default false)
    ;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
    ;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
    ;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
    ;stdout_events_enabled=false   ; emit events on stdout writes (default false)
    ;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
    ;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
    ;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
    ;stderr_events_enabled=false   ; emit events on stderr writes (default false)
    ;environment=A=1,B=2           ; process environment additions
    ;serverurl=AUTO                ; override serverurl computation (childutils)
     
    ; The below sample group section shows all possible group values,
    ; create one or more 'real' group: sections to create "heterogeneous"
    ; process groups.
     
    ;[group:thegroupname]
    ;programs=progname1,progname2  ; 任何在[program:x]中定义的x
    ;priority=999                  ; 程序运行的优先级，默认999
     
    ; The [include] section can just contain the "files" setting.  This
    ; setting can list multiple files (separated by whitespace or
    ; newlines).  It can also contain wildcards.  The filenames are
    ; interpreted as relative to this file.  Included files *cannot*
    ; include files themselves.
     
    ;[include]
    ;files = relative/directory/*.ini

如果supervisorCPU和内存占用率特别高，导致机器卡死。

注释掉 \[inet\_http\_server\]

;[inet_http_server]
    ;port=127.0.0.1:9001   ;IP按需配置     
    ;username=user              
    ;password=123

此处是用于web访问的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy_size_16_color_FFFFFF_t_70]

#### Laravel配置 Supervisor ####

Supervisor 配置文件通常存放在 /etc/supervisor/conf.d 目录，在该目录下，可以创建多个配置文件指示 Supervisor 如何监视进程，例如，让我们创建一个开启并监视 queue:work 进程的 laravel-worker.conf 文件：

博主yum安装所以目录在这里  
![在这里插入图片描述][20210302174815963.png]

查看配置是否正确通过命令查看

[root@bogon ~]# supervisorctl 
    supervisor> update
    error: <class 'xmlrpclib.Fault'>, <Fault 92: "CANT_REREAD: The directory named as part of the path /home/forge/app.com/worker.log does not exist in section 'program:laravel-worker' (file: '/etc/supervisord.d/lavarel_worker.ini')">: file: /usr/lib64/python2.7/xmlrpclib.py line: 794
    supervisor> update
    waaQueue: stopped
    waaQueue: removed process group
    laravel-worker: added process group
    supervisor> status
    laravel-worker:laravel-worker_00   RUNNING   pid 4570, uptime 0:00:07
    laravel-worker:laravel-worker_01   RUNNING   pid 4571, uptime 0:00:07
    laravel-worker:laravel-worker_02   RUNNING   pid 4572, uptime 0:00:07
    laravel-worker:laravel-worker_03   RUNNING   pid 4574, uptime 0:00:07
    laravel-worker:laravel-worker_04   RUNNING   pid 4575, uptime 0:00:07
    laravel-worker:laravel-worker_05   RUNNING   pid 4576, uptime 0:00:07
    laravel-worker:laravel-worker_06   RUNNING   pid 4577, uptime 0:00:07
    laravel-worker:laravel-worker_07   RUNNING   pid 4578, uptime 0:00:07
    supervisor> update
    supervisor>

配置命令另一种

command= php /data/wwwroot/test.hamdantoken.io/HamdanTokenApp/artisan queue:work redis --queue=getnewaddress  --sleep=3 --tries=1 --daemon
                队列方法             错误重发一次

#### 启动运行 supervisord ####

*  1 首先启动supervisord，执行supervisord即可，它会在默认目录下寻找配置文件
 *  2 运行supervisorctl help来查看可使用命令

使用yum命令安装（推荐）
    
    systemctl enable supervisord # 开机自启动
    systemctl start supervisord  # 启动supervisord服务
    systemctl status supervisord # 查看supervisord服务状态
    ps -ef|grep supervisord      # 查看是否存在supervisord进程
    
    
    # systemctl stop supervisord
    # systemctl start supervisord
    # systemctl status supervisord
    # systemctl reload supervisord
    # systemctl restart supervisord
    
    supervisorctl stop all  # 关闭所有
    
    service supervisord restart #重启

##### 查看supervisord状态 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy_size_16_color_FFFFFF_t_70 1]

##### 查看监听supervisord端口 #####

`lsof -i:9001`  
![在这里插入图片描述][20210302162115399.png]

#### supervisorctl 是 supervisord的命令行客户端工具 ####

supervisorctl status：查看所有进程的状态
    supervisorctl stop es：停止es
    supervisorctl start es：启动es
    supervisorctl restart es: 重启es
    supervisorctl update ：配置文件修改后可以使用该命令加载新的配置
    supervisorctl reload: 重新启动配置中的所有程序

[root@bogon ~]# supervisorctl 
    waaQueue:waaQueue_0              RUNNING   pid 32707, uptime 0:43:20
    waaQueue:waaQueue_1              RUNNING   pid 32706, uptime 0:43:20
    waaQueue:waaQueue_2              RUNNING   pid 32699, uptime 0:43:21
    waaQueue:waaQueue_3              RUNNING   pid 32698, uptime 0:43:22
    waaQueue:waaQueue_4              RUNNING   pid 32701, uptime 0:43:21
    waaQueue:waaQueue_5              RUNNING   pid 32700, uptime 0:43:21
    supervisor> stop
    Error: stop requires a process name
    stop <name>		Stop a process
    stop <gname>:*		Stop all processes in a group
    stop <name> <name>	Stop multiple processes or groups
    stop all		Stop all processes
    supervisor> stop all
    waaQueue:waaQueue_4: stopped
    waaQueue:waaQueue_1: stopped
    waaQueue:waaQueue_0: stopped
    waaQueue:waaQueue_3: stopped
    waaQueue:waaQueue_2: stopped
    waaQueue:waaQueue_5: stopped
    supervisor> start all
    waaQueue:waaQueue_1: started
    waaQueue:waaQueue_0: started
    waaQueue:waaQueue_3: started
    waaQueue:waaQueue_2: started
    waaQueue:waaQueue_5: started
    waaQueue:waaQueue_4: started
    supervisor> status
    waaQueue:waaQueue_0              RUNNING   pid 4254, uptime 0:00:04
    waaQueue:waaQueue_1              RUNNING   pid 4253, uptime 0:00:04
    waaQueue:waaQueue_2              RUNNING   pid 4256, uptime 0:00:04
    waaQueue:waaQueue_3              RUNNING   pid 4255, uptime 0:00:04
    waaQueue:waaQueue_4              RUNNING   pid 4258, uptime 0:00:04
    waaQueue:waaQueue_5              RUNNING   pid 4257, uptime 0:00:04
    supervisor> update
    error: <class 'xmlrpclib.Fault'>, <Fault 92: "CANT_REREAD: The directory named as part of the path /home/forge/app.com/worker.log does not exist in section 'program:laravel-worker' (file: '/etc/supervisord.d/lavarel_worker.ini')">: file: /usr/lib64/python2.7/xmlrpclib.py line: 794
    supervisor> update
    waaQueue: stopped
    waaQueue: removed process group
    laravel-worker: added process group
    supervisor> status
    laravel-worker:laravel-worker_00   RUNNING   pid 4570, uptime 0:00:07
    laravel-worker:laravel-worker_01   RUNNING   pid 4571, uptime 0:00:07
    laravel-worker:laravel-worker_02   RUNNING   pid 4572, uptime 0:00:07
    laravel-worker:laravel-worker_03   RUNNING   pid 4574, uptime 0:00:07
    laravel-worker:laravel-worker_04   RUNNING   pid 4575, uptime 0:00:07
    laravel-worker:laravel-worker_05   RUNNING   pid 4576, uptime 0:00:07
    laravel-worker:laravel-worker_06   RUNNING   pid 4577, uptime 0:00:07
    laravel-worker:laravel-worker_07   RUNNING   pid 4578, uptime 0:00:07
    supervisor> update
    supervisor>

#### 查看所有的 队列进程 ####

`ps -ef | grep queue`

![在这里插入图片描述][20210302161240961.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210302161953693.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy,size_16,color_FFFFFF,t_70
[20210302174815963.png]: https://img-blog.csdnimg.cn/20210302174815963.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210302151835785.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaWd1YW5nMTAy,size_16,color_FFFFFF,t_70
[20210302162115399.png]: https://img-blog.csdnimg.cn/20210302162115399.png
[20210302161240961.png]: https://img-blog.csdnimg.cn/20210302161240961.png