【软件测试】全链路仿真压测系统

布满荆棘的人生 2023-09-25 23:09 211阅读 0赞

![a0cf2889d0e8b394640b54bf8c9a7299.jpeg][]

**1.项目背景**

目前常用的压测工具一般都是针对QPS这一个单一指标进行考量。即使支持编写脚本的工具也只是通过参数化模拟用户。但是实际用户是使用单独设备请求服务器，即一个用户就是一个tcp连接。

所以为了更真实的模拟用户行为，我们需要通过一个tcp连接模拟一个用户，并通过代码方式实现用户的真实请求行为。C端及中台产研中心云平台部质量保障团队自研的“仿真压测系统”。独有的QPS动态可控技术，支持固定URL压测、参数化、Websocket协议压测、中间件、数据库等的压测，模拟用户真实轨迹，通过用户侧，服务端，DB进行数据一致性和正确性自动检验，打造真正的全链路仿真压测，该系统可扩展性强，稳定性高，目前已多次支持公司级各类大型活动的仿真全链路压测，为线上服务的稳定运行提供了强有力的质量保障。

经过四年的打磨如今借此机会与大家分享一下心路历程，积极讨论，欢迎提出意见，希望可以帮助我们进一步成长。（文中引用均为测试数据）

**2.仿真压测系统成型之路**

**2.1**

**工具选型**

**► 2.1.1 现有的压测工具对比**

![6c4d28f9b56fd012d42d47e4898ad9d8.png][]

图1-1

**► 2.1.2 Locust发压client比较**

![aea7b78ea1220f3a85988ff8a7515eeb.png][]

图1-2

结合以上比较结果，目前没有合适的压测工具可以直接满足我们的压测需求，最终决定用Locust做框架,首先它是一款易于使用的分布式负载测试工具，完全基于事件，单机并发能力高，并发机制是协程，其次二次开发潜力比较大。

发压的请求client采用fasthttp, 据说是目前golang性能最好的http库，原理是利用worker复用goroutine，减轻runtime调度协程的压力，相对于自带的net/http(每个连接都需要新建一个goroutine)，性能有10倍的提升。省略一千字，直接上干货。

**► 2.1.3 仿真压测系统特性：**

*  分布式部署；
 *  固定URL压测；
 *  参数化脚本压测；
 *  Websocket协议压测；
 *  其他协议UDP、http2、 RTMP/HLS、MQTT（golang可以实现的协议都可满足）
 *  Redis直压；
 *  Kafka直压
 *  Mysql直压；
 *  自定义脚本压测（仿真压测，全链路数据对账）；
 *  动态可控QPS、TCP；
 *  秒级启动/停止，结果收集即停即展示，无需等待

……

**►** **2.1. 4 实现难点分析**

模拟百万用户创建TCP/ websocket连接；长时间保持连接不断开；集中发压；

部分代码如下：

go func() {
        for {
            select
            case data := <-r.stats.messageToRunnerChan:
                data["user_count"] = r.numClients
                r.outputOnEevent(data)
            case <-r.closeChan:
                Events.Publish("boomer:quit")
                r.stop()
                wg.Done()
                return
            }
        }
    }()
    集中发压
    curTime := myStatus.Ct
        statusTime := myStatus.St
        c := time.After(time.Duration(statusTime-curTime) * time.Second)
        <-c
        miaosha(uidToken, &myStatus, myLog)
    保持长链接
    func wsWorker() {
      ws, err := websocket.Dial(wsUrl, "", origin)
      if err != nil {
      log.Println(err)
      return
      }
      defer func() {
        if p := recover(); p != nil {
        log.Println(p)
     }
     erc := ws.Close()
        if erc != nil {
         log.Println(erc)
      }
      }()
      go func() {
        ws.Write([]byte("0"))
        var t = time.Tick(time.Second * 30)
        for range t {
        if ws == nil {
            continue
        }
        ws.Write([]byte("0"))
        fmt.Println("send 0 to websocket ok!")
        }
        }()
      for {
        select {
          case <-stopChannel:
               return
          default:
            var msg = make([]byte, 512)
            start := time.Now()
            n, err := ws.Read(msg)
            log.Println(string(msg[0:n]))
            elapsed := time.Since(start)
            if myDebug {
                log.Println(string(msg))
               }
            if err != nil {
              log.Printf("Error: %s", err.Error())
            }
           }
         }
        }

**2.2**

**日常使用截图**

![6bd92a43bde019759f251cf2ba7a8e87.jpeg][]

图2-平台首页

![591bf23c8ad7727c1b2032e0efd75ac0.jpeg][]

图3-实时监控压测页面，总请求数、实时qps、响应时间、发压机cpu占用等指标。

![9c15fc2331f62e721ac74a652e66fbdd.jpeg][]

图4-压测空接口，服务器监控截图， Nginx的峰值QPS可以达到596万。

![fa77979ce132b40eb6bcbf9fc8727b1c.jpeg][]

图5-压测redis时监控截图，单个节点的实时监控等都可以一览无余

**3. 818台网实战开始**

工欲善其事，必先利其器，利器已有，剧本安排上。

晚会当天数以万计的用户通过手机app参与活动，从白天开始“预约红包”，晚上八点晚会开始后用户开始陆陆续续登录app“领取预约红包”；随着主持人口播，第一轮“集卡”活动开始……人数慢慢增多，到了最激动人心的时候。“一元秒新车”开始，QPS狂飙，TCP连接数也达到了峰值100W。

**开始实战：**

控制台：各部门注意，入口已经放开，流量开始进入；目前“预约红包”阶段

仿真压测：收到，每五分钟递增1w用户（1TCP模拟1用户以下通用TCP数代指用户数），QPS200（用户进入活动页面，预约红包、查看规则、查看介绍等大概每人5次请求）

![cf40151c232e9d5ef515b970d125e0ae.jpeg][]

图6-由于发压机数量32台，每个机器限制QPS7所以总QPS就是224

控制台：晚会开始，“预约红包”可领状态，“见面礼红包”已开启，“连续红包”已开启，第一场大咖讲话马上开启……

仿真压测：明白，TCP调整到20W，QPS2W（用户操作5次集中在1分钟以内）

![0bc27bd34cc2a5f3c5d325e89a16fa9d.png][]

图7-动态调整QPS、TCP连接数按钮

![87ac215e898c7d72bf5fc4f72f0dd98e.jpeg][]

图8-设置TCP连接数、QPS、步增等

![0a6c0ec01cf63507a2b2837ac6e75f48.jpeg][]

图9-设置生效，TCP、QPS稳定保持在设定值

控制台：抽盲盒活动进入倒计时

仿真压测：copy，TCP调整到30W，QPS10W（用户3秒内点击10~15次提交一次请求到服务器）

![8cc8fea5b21bf5afa13bc99fcc9f8a67.jpeg][]

图10-设置生效，TCP、QPS稳定保持在设定值

控制台：时间来到最终环节，“一元秒新车”，倒计时开启

仿真压测：拼手速的时候到了，TCP100W，QPS100W（秒杀只可以提交一次）走起

![f5064039866108b1854262cda335853b.jpeg][]

图11-设置生效，TCP、QPS稳定保持在设定值

至此，晚会结束，仿真压测却并没有结束，还有最后一环--“对账”。仿真压测会把接口返回用户的数据记录到kafka中，最后入库，与服务器的数据进行对账，确保每条数据的正确性。

![d875d554b1e359e39ad6cd44855b88ec.jpeg][]

图12-服务侧数据与用户侧数据进行对账

看一下动态调整QPS的完美曲线,随着用户增长以及QPS增长的仿真图

![40534f6423e3ad19aee518bbb7c2926c.jpeg][]

图13-仿真模拟用户递增的曲线

![d12284fddf06544fdb62979d8b8d3555.jpeg][]

图14-服务器监控截图，仿真用户全部走websocket协议，通过“状态机”下发指令、接收指令

![2ca658ed568f53763224e4765ef2ba51.jpeg][]

图15-Redis 监控截图

![ecf2b6beb0752f7ce62efa9b9d944431.jpeg][]

图16-云服务器LB截图

![fa2527648d6ef4be45e472ddd475816e.jpeg][]

图17-云服务器LB截图

![4258c61cf1179516df197b65fbb77207.png][]

图18-云服务器LB截图

![728daeedea244f44140521fbc1f1e5a8.jpeg][]

图19-仿真压测完成，服务侧奖品发放明细

![ea944b5d8b1d8a18ce837b6b329cb38b.png][]

图20-仿真侧用户领取奖品明细以及对账情况

数据完美对上。

**4. 总结**

由于篇幅受限，想说的很多，质量保障团队也做了很多，比如灾备演练，模拟服务器满载、域名切换、服务器宕机、机房切换等等。关于测试方面的问题欢迎私下讨论。

**最后：** 下方这份完整的软件测试视频学习教程已经整理上传完成，朋友们如果需要可以自行免费领取**`【保证100%免费】`**

![在这里插入图片描述][9d205f76a3bb49d8bce29972548618fa.png_pic_center]

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！

### **获取方式：** ###

![980fe6e1d9c041898124a7fb03b3c10c.gif][]

[a0cf2889d0e8b394640b54bf8c9a7299.jpeg]: https://img-blog.csdnimg.cn/img_convert/a0cf2889d0e8b394640b54bf8c9a7299.jpeg
[6c4d28f9b56fd012d42d47e4898ad9d8.png]: https://img-blog.csdnimg.cn/img_convert/6c4d28f9b56fd012d42d47e4898ad9d8.png
[aea7b78ea1220f3a85988ff8a7515eeb.png]: https://img-blog.csdnimg.cn/img_convert/aea7b78ea1220f3a85988ff8a7515eeb.png
[6bd92a43bde019759f251cf2ba7a8e87.jpeg]: https://img-blog.csdnimg.cn/img_convert/6bd92a43bde019759f251cf2ba7a8e87.jpeg
[591bf23c8ad7727c1b2032e0efd75ac0.jpeg]: https://img-blog.csdnimg.cn/img_convert/591bf23c8ad7727c1b2032e0efd75ac0.jpeg
[9c15fc2331f62e721ac74a652e66fbdd.jpeg]: https://img-blog.csdnimg.cn/img_convert/9c15fc2331f62e721ac74a652e66fbdd.jpeg
[fa77979ce132b40eb6bcbf9fc8727b1c.jpeg]: https://img-blog.csdnimg.cn/img_convert/fa77979ce132b40eb6bcbf9fc8727b1c.jpeg
[cf40151c232e9d5ef515b970d125e0ae.jpeg]: https://img-blog.csdnimg.cn/img_convert/cf40151c232e9d5ef515b970d125e0ae.jpeg
[0bc27bd34cc2a5f3c5d325e89a16fa9d.png]: https://img-blog.csdnimg.cn/img_convert/0bc27bd34cc2a5f3c5d325e89a16fa9d.png
[87ac215e898c7d72bf5fc4f72f0dd98e.jpeg]: https://img-blog.csdnimg.cn/img_convert/87ac215e898c7d72bf5fc4f72f0dd98e.jpeg
[0a6c0ec01cf63507a2b2837ac6e75f48.jpeg]: https://img-blog.csdnimg.cn/img_convert/0a6c0ec01cf63507a2b2837ac6e75f48.jpeg
[8cc8fea5b21bf5afa13bc99fcc9f8a67.jpeg]: https://img-blog.csdnimg.cn/img_convert/8cc8fea5b21bf5afa13bc99fcc9f8a67.jpeg
[f5064039866108b1854262cda335853b.jpeg]: https://img-blog.csdnimg.cn/img_convert/f5064039866108b1854262cda335853b.jpeg
[d875d554b1e359e39ad6cd44855b88ec.jpeg]: https://img-blog.csdnimg.cn/img_convert/d875d554b1e359e39ad6cd44855b88ec.jpeg
[40534f6423e3ad19aee518bbb7c2926c.jpeg]: https://img-blog.csdnimg.cn/img_convert/40534f6423e3ad19aee518bbb7c2926c.jpeg
[d12284fddf06544fdb62979d8b8d3555.jpeg]: https://img-blog.csdnimg.cn/img_convert/d12284fddf06544fdb62979d8b8d3555.jpeg
[2ca658ed568f53763224e4765ef2ba51.jpeg]: https://img-blog.csdnimg.cn/img_convert/2ca658ed568f53763224e4765ef2ba51.jpeg
[ecf2b6beb0752f7ce62efa9b9d944431.jpeg]: https://img-blog.csdnimg.cn/img_convert/ecf2b6beb0752f7ce62efa9b9d944431.jpeg
[fa2527648d6ef4be45e472ddd475816e.jpeg]: https://img-blog.csdnimg.cn/img_convert/fa2527648d6ef4be45e472ddd475816e.jpeg
[4258c61cf1179516df197b65fbb77207.png]: https://img-blog.csdnimg.cn/img_convert/4258c61cf1179516df197b65fbb77207.png
[728daeedea244f44140521fbc1f1e5a8.jpeg]: https://img-blog.csdnimg.cn/img_convert/728daeedea244f44140521fbc1f1e5a8.jpeg
[ea944b5d8b1d8a18ce837b6b329cb38b.png]: https://img-blog.csdnimg.cn/img_convert/ea944b5d8b1d8a18ce837b6b329cb38b.png
[9d205f76a3bb49d8bce29972548618fa.png_pic_center]: https://img-blog.csdnimg.cn/9d205f76a3bb49d8bce29972548618fa.png#pic_center
[980fe6e1d9c041898124a7fb03b3c10c.gif]: https://img-blog.csdnimg.cn/980fe6e1d9c041898124a7fb03b3c10c.gif