【软件测试】使用pytest-xdist实现分布式APP自动化测试

短命女 2023-10-09 19:20 135阅读 0赞

不知道大家有没有遇到这样一种情况，实际工作中，app自动化测试的用例可能是成百上千条的，如果放在一台机器上跑，消耗的时间非常久，那能不能使用分布式的来跑测试用例呢？比如有1000条测试用例，给A机器分配500个，给B机器分配500个，同时去跑，这样耗时就大大减少。刚好pytest-xdist为我们提供了一种可能

### 什么是pytest-xdist？ ###

pytest-xdist是一款分布式测试插件。它在pytest的基础上做了一些独有的测试执行模式的扩展。比如你有多个CPU或者多台机器，就可以使用它们做一些并行化的测试，并且它还是跨平台的，可以指定不同的python解释器或不同的平台来执行测试

pip install pytest-xdist

### 01 分布式测试的原理 ###

上面有提到pytest-xdist实现分布式的方式有两种：一种是使用多CPU，一种是使用多台机器。

一般来说对于web自动化测试，使用多核CPU来做分布式比较合适，但对于app自动化测试来说，使用多台机器做分布式比较合适。这里主要介绍后者

pytest-xdist是工作方式是一个master对应多个worker，每个worker会按照master的要求来执行各自的测试集。

**基本的执行流程为：**

master在测试会话开始的时候会产生一个或多个worker。master和worker之间使用execnet及其网关进行通信。worker可以是本地的，也可以是远程的

worker作为pytest的执行者。在收集完一套完整的测试集后，worker将收集到的测试id发送给不承担执行任务的master

master接收所有节点发送来的结果，同时也会做一些可用性的检查以确保所有的worker都收集到相同的测试集。如果一切正常，它会将测试id列表转换为简单索引列表，每个索引对应着它在原始测试集列表中的位置。这种方案的可行性在于可以节约带宽，由于所有的worker都有相同的测试集列表，所以master可以指派其中一个worker只执行测试索引为3的用例

![图片][8d3f25527f8f4ac18f9ce5b2a1d4b753.png]

pytest-xdist有两种模式，each模式和load模式

each模式：

master会将所有的测试任务(这里的测试任务不是测试集，类似于测试指令，也就是上面说的测试索引）发送到每个worker上，每个worker都执行一遍完整的测试集。

举个例子，假如有1000条用例，分为A和B两个worker，那么A和B同时执行1000条用例

load模式：

master会先将25%的测试任务以轮询的方式发送给每个worker，剩下的等到worker执行完后再做分发。同样，有1000条用例，有A和B两个worker，那么先给A分发250个用例，再给B分发250条用例，剩下的500条用例等A和B执行完后再做分发，有可能此时A服务器的压力比较小，那么给A再分260条，B的压力比较大，给B再分240条。类似于负载均衡的概念

### 02 测试项目 ###

以百度贴吧app为例，可以写简单的4条用例来测试。第一条测试的是欢迎页的滑动功能。如果用户点了同意，后面滑屏，能够正常滑动，点击立即体验，能够正常跳转，说明用例是通过的

![图片][490f06587a0c4d2a8d605086ede9b6dd.png]

第二条测试的是欢迎页点击不同意，能够正常弹出提示，说明用例是通过的

![图片][22623e99829b4fee83aa53bfb6b7346c.png]

第三条测试搜索，如果用户滑屏后，在主页搜索栏输入关键字，能够搜索到指定的内容，说明用例通过

![图片][496d5eb34d3c4659a2c62e2d69278af9.png]

最后一条测试登录，点击主页“我的”，能够进入到百度账号登录页面，说明用例通过

![图片][cb73cc2899024ac498b600f7737a60ce.png]

### 03 环境准备 ###

在搭建环境上，我准备了三台虚拟机，其中一台作为master，剩下两台作为执行的worker。为了避免不必要的麻烦，三台机器都统一使用python3.8，两台worker上都使用docker安装appium1.17.0，客户端采用两台系统为v7.1.2的夜神模拟器。

具体信息如下表所示：

服务器环境

![在这里插入图片描述][5b31cd759dca4ba1983f5a5d3848f67e.png]

### 04 搭建步骤 ###

1、在worker上创建并启动docker容器

在两台worker上执行同样的操作，可以启动一个名为appium的容器

![图片][4a1044c657984611802890d95e79b329.png]

看到这里或许会问，docker里的appium服务是怎么启动的，比较简单，代码可以通过命令行的方式启动appium服务

![图片][89419bacb3bd479fa3329ad7cbc80206.png]

2、模拟器设置

通过桥接的方式，设置tcpip端口，使得远程服务器可以通过adb连接到模拟器。具体方法是点开右上角的设置，进入系统设置，属性设置，勾选开启网络桥接模式，这时候应该会装一个桥接网卡，然后可以自己设置静态IP。保存后重启就可以了

![图片][d561acc27efc4b25b19ed6ded01b13a4.png]

正常情况下，重启后ip应该会变成静态IP，但是夜神模拟器有个bug，ip还是随机ip，不过这一点不影响后续的操作

![图片][94fb369ad52c4886a7d26b242e5f1308.png]

接下来设置tcpip端口，通过如下命令设置好后，如果看到有restarting in TCP mode port:6666说明已经设置完成

![图片][99abd606323e4b2d9068c8f7f09b529e.png]

3、appium远程连接模拟器

在两台worker上分别执行远程连接命令，worker1对应模拟器1，worker2对应模拟器2。这里要主要adb connect 后面跟的是模拟器的实际ip地址加tcpip端口号6666，如果看到connected to ip:端口号，说明已经远程连接成功

![图片图片][8508081cf75b48c182863e04944f6a69.png]  
![在这里插入图片描述][ff9d257024f545e4a1d593b01eb5f791.png]

4、上传代码

使用命令或工具将代码上传到master上的/opt目录下并解压

![图片][38ddc50b5b0d4499960b5f2c4eb097db.png]

![图片][d640832056a8497992698aa15a76c466.png]

main.py是项目测试执行的入口，为了适应分布式执行，我们需要对main.py做一些修改

![图片][41041cc2a1a54aecae0c503daf2836b2.png]

对最关键的几步做一个说明：

“-d”：

表示分布式参数

"–tx"后面跟着worker服务器的地址

且通过python=/opt/Python-3.8.0/bin/python3.8指定了python版本，通过chdir=/opt/pyexecnetcache指定了worker上同步测试集的目录，也就是master会将测试项目同步worker的该目录下

“–rsyncdir"后面跟”./"，

表示将master上当前目录下的所有文件都同步

“TieBa-AutoTest”：

因为同步过去的项目在pyexecnetcache目录下，实际上是/opt/pyexecnetcache/TieBa-AutoTest，如果不加该配置，就进入不到TieBa-AutoTest目录下，由于worker上的pytest执行时是找test\_开头的测试用例，所以会找不到测试用例，可以将其理解为cd TieBa-AutoTest

### 05 分布式执行 ###

在master上执行python3 main.py命令就可以做分布式运行，gw0和gw1分别表示worker1和worker2，\[4\]表示共有4条测试用例

![图片][3ff9a1fa935a4b948663636549ee4b41.png]

此时去看worker的/opt目录下，已经同步到了测试项目

![图片][e2685a96c06d4608a1e32f74a6d3694e.png]

再去观察两台模拟器，发现已经开始同步执行了

![图片][2101491c77334098bfb140f038324604.png]

### 06 测试报告 ###

测试完成后，观察master上的执行结果信息，4条测试用例耗时不到3分钟，2条通过2条失败。

![图片][54d87e447e4040c39e9a98b8499339c9.png]

但是在master上通过allure serve生成预览报告后，发现报告是空的

![图片][215c16d4b7eb46058ac047244abc48c4.png]

两台worker上的报告预览展示正常，分别展示它们各自执行用例的报告信息

![图片][54552f26d18f496d9464bc15e71a4cef.png]

![图片][1348f8d5bfe74fcdbdee8da6c9e4cd65.png]

其原因是pytest-xdist对allure测试报告支持的不友好，各个worker的测试报告信息没有回传，使用pytest-html就没有这个问题。github上有人提出过这个问题。暂时留个“悬念”，下次再讲讲怎么解决这一问题

![图片][8b7196c9248247f7b5ff530966cbaefa.png]

**最后：** 为了回馈铁杆粉丝们，我给大家整理了完整的软件测试视频学习教程，朋友们如果需要可以自行免费领取 **`【保证100%免费】`**  
![在这里插入图片描述][9d205f76a3bb49d8bce29972548618fa.png_pic_center]  
这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！

软件测试工程师的交流学习群社：786229024

### 软件测试面试文档 ###

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![在这里插入图片描述][f5caea8e55384ffd9d53fbcef5d509f5.png_pic_center]

### 全套资料获取方式： ###

![在这里插入图片描述][5cda5706505a4f99ae5cd20693767720.gif_pic_center]  
  
![在这里插入图片描述][60d30bf8f2ab4f6f9d4129358410ba73.gif_pic_center]

[8d3f25527f8f4ac18f9ce5b2a1d4b753.png]: https://img-blog.csdnimg.cn/8d3f25527f8f4ac18f9ce5b2a1d4b753.png
[490f06587a0c4d2a8d605086ede9b6dd.png]: https://img-blog.csdnimg.cn/490f06587a0c4d2a8d605086ede9b6dd.png
[22623e99829b4fee83aa53bfb6b7346c.png]: https://img-blog.csdnimg.cn/22623e99829b4fee83aa53bfb6b7346c.png
[496d5eb34d3c4659a2c62e2d69278af9.png]: https://img-blog.csdnimg.cn/496d5eb34d3c4659a2c62e2d69278af9.png
[cb73cc2899024ac498b600f7737a60ce.png]: https://img-blog.csdnimg.cn/cb73cc2899024ac498b600f7737a60ce.png
[5b31cd759dca4ba1983f5a5d3848f67e.png]: https://img-blog.csdnimg.cn/5b31cd759dca4ba1983f5a5d3848f67e.png
[4a1044c657984611802890d95e79b329.png]: https://img-blog.csdnimg.cn/4a1044c657984611802890d95e79b329.png
[89419bacb3bd479fa3329ad7cbc80206.png]: https://img-blog.csdnimg.cn/89419bacb3bd479fa3329ad7cbc80206.png
[d561acc27efc4b25b19ed6ded01b13a4.png]: https://img-blog.csdnimg.cn/d561acc27efc4b25b19ed6ded01b13a4.png
[94fb369ad52c4886a7d26b242e5f1308.png]: https://img-blog.csdnimg.cn/94fb369ad52c4886a7d26b242e5f1308.png
[99abd606323e4b2d9068c8f7f09b529e.png]: https://img-blog.csdnimg.cn/99abd606323e4b2d9068c8f7f09b529e.png
[8508081cf75b48c182863e04944f6a69.png]: https://img-blog.csdnimg.cn/8508081cf75b48c182863e04944f6a69.png
[ff9d257024f545e4a1d593b01eb5f791.png]: https://img-blog.csdnimg.cn/ff9d257024f545e4a1d593b01eb5f791.png
[38ddc50b5b0d4499960b5f2c4eb097db.png]: https://img-blog.csdnimg.cn/38ddc50b5b0d4499960b5f2c4eb097db.png
[d640832056a8497992698aa15a76c466.png]: https://img-blog.csdnimg.cn/d640832056a8497992698aa15a76c466.png
[41041cc2a1a54aecae0c503daf2836b2.png]: https://img-blog.csdnimg.cn/41041cc2a1a54aecae0c503daf2836b2.png
[3ff9a1fa935a4b948663636549ee4b41.png]: https://img-blog.csdnimg.cn/3ff9a1fa935a4b948663636549ee4b41.png
[e2685a96c06d4608a1e32f74a6d3694e.png]: https://img-blog.csdnimg.cn/e2685a96c06d4608a1e32f74a6d3694e.png
[2101491c77334098bfb140f038324604.png]: https://img-blog.csdnimg.cn/2101491c77334098bfb140f038324604.png
[54d87e447e4040c39e9a98b8499339c9.png]: https://img-blog.csdnimg.cn/54d87e447e4040c39e9a98b8499339c9.png
[215c16d4b7eb46058ac047244abc48c4.png]: https://img-blog.csdnimg.cn/215c16d4b7eb46058ac047244abc48c4.png
[54552f26d18f496d9464bc15e71a4cef.png]: https://img-blog.csdnimg.cn/54552f26d18f496d9464bc15e71a4cef.png
[1348f8d5bfe74fcdbdee8da6c9e4cd65.png]: https://img-blog.csdnimg.cn/1348f8d5bfe74fcdbdee8da6c9e4cd65.png
[8b7196c9248247f7b5ff530966cbaefa.png]: https://img-blog.csdnimg.cn/8b7196c9248247f7b5ff530966cbaefa.png
[9d205f76a3bb49d8bce29972548618fa.png_pic_center]: https://img-blog.csdnimg.cn/9d205f76a3bb49d8bce29972548618fa.png#pic_center
[f5caea8e55384ffd9d53fbcef5d509f5.png_pic_center]: https://img-blog.csdnimg.cn/f5caea8e55384ffd9d53fbcef5d509f5.png#pic_center
[5cda5706505a4f99ae5cd20693767720.gif_pic_center]: https://img-blog.csdnimg.cn/5cda5706505a4f99ae5cd20693767720.gif#pic_center
[60d30bf8f2ab4f6f9d4129358410ba73.gif_pic_center]: https://img-blog.csdnimg.cn/60d30bf8f2ab4f6f9d4129358410ba73.gif#pic_center