基于机器视觉的煤中杂物智能分选系统研究

布满荆棘的人生 2022-10-22 09:13 273阅读 0赞

## 基于机器视觉的煤中杂物智能分选系统研究 ##

王卫东，张康辉 新机器视觉 *昨天*

![新机器视觉][da404667f55ab10346ab5f434d1582f6.png]

**新机器视觉**

最前沿的机器视觉与计算机视觉技术

206篇原创内容

公众号

原煤在开采过程中经常会混入各类铁器、锚杆、锚索、网片、破损胶带、电缆头、木材等生产废旧物资。此外，井下作业产生的生活垃圾(如塑料瓶、塑料袋等)也会混入到提升原煤中。煤炭中的杂物极易堵塞管道、溜槽、阀门、筛孔等部件，成为困扰选煤厂连续生产的主要因素之一。煤炭中的杂物，轻则堵塞运输系统，降低脱泥脱介系统效率，发生跑、冒、滴、漏现象；重则可能导致带式输送机划伤或分选设备堵塞，造成设备故障及产品质量事故。如果杂物进入商品煤，在商品煤使用过程中，还有可能会因某种杂物的存在而导致使用设备受损、锅炉爆炸等安全生产事故，从而带来严重的经济损失，甚至造成人员伤亡。杂物的存在还制约了出口煤业务的发展，经常导致不必要的商务纠纷和索赔，给煤炭生产企业造成了不应有的经济损失。

清除煤中的杂物，既是个老问题，又是个新问题。无论是煤炭生产企业还是用煤企业，从未忽视过煤炭中杂物的分拣工作。尤其是近几年来，煤中杂物的分拣问题变得越来越突出，对杂物分拣效果的要求也越来越高。过去的“三吸一筛”效率较低，己无法满足清除煤中各种杂物的要求。

目前，在清除金属杂物方面，采用电磁除铁器的多级除铁方式效果很好。对于煤中的木质杂物，国内外大多采用在工艺系统中设置破碎、筛分等加工环节来分离，也有采用清水立轮分选机、斜轮分选机或槽选机等清除木屑的实例。总体来说，这些方法具有一定效果，但也均存在一些不足。拦杂网、除杂钩等机械装置也是近年来常用的除杂方法，但除杂效率较低，且需要频繁检查和维护除杂装置，应用局限性较大。

为减少商品煤中杂物数量，大多数选煤厂一般在块煤手选带式输送机上设置人工手选环节来拣除杂物，但存在杂物拣除率低，员工劳动强度大，安全系数低等问题。

从我国目前在用的杂物分离设备状况看，效率低、故障多和维修量大是制约煤中杂物分离设备推广使用的主要因素。为了解决杂物对煤炭生产的影响，针对煤中杂物的混杂状况，研究开发了一种基于机器视觉的智能识别与机械手精准抓取的煤中杂物智能分选系统（以下简称“杂物智能分选系统”），并在淮北矿业集团涡北选煤厂得到了成功应用。

![图片][768158c608c3808d9c860bee27c45fb6.png]

**工艺设计**

杂物智能分选系统安装在涡北选煤厂的筛分车间内，位于+8.00m平面的2206\#转载带式输送机(带长9m，带速0.45m/s)上方，用以代替原机头滚轴筛除杂。杂物智能分选系统工艺布置如图1所示，分选过程如图2所示，现场安装如图3所示。

![图片][16c29b62b0799892d65987c239d9ba79.png]

**图1 杂物智能分选系统工艺布置图**

分选时，原煤经筛孔为80mm的振动筛分级后，筛上物料通过溜槽进入杂物智能分选系统，进入系统的物料首先通过弹性布料装置，由该布料装置将物料松散、均匀地铺在带式输送机上，以方便后续处理。分散均匀的物料随2206\#带式输送机进入图像采集系统，由图像采集系统负责对进入相机视野的物料进行拍摄，从而在线获取图像资料，并通过USB光纤上传至图像分析系统。图像分析系统通过机器学习算法，实现物料中杂物(木棍、竹坯子、绳头、棉纱、手套和矿泉水瓶等)的识别及分类，杂物位置和姿态确定(以便后续机械手执行抓取工作)，以及物料运动时间确定三个功能，并把这些信息传递给智能控制系统。智能控制系统接收到图像分析系统的信息后，确定机械手的控制策略，启动机械手抓取杂物，当机械手按照设计好的控制执行方案完成抓取目标物体任务后，回到初始位置。

![图片][9f167050a808a0a7a7884d548d3efe28.png]

**图2 杂物智能分选系统分选过程示意图**

![图片][4afdffbb2eb2fe0b2b1fc8742cd6eb4f.png]

**图3 杂物智能分选系统现场安装图**

![图片][15130ee209f25de5f5350c40abffac33.png]

**像素级杂物检测模型**

杂物智能分选系统采用了基于mobilenetv2的unet模型。unet是一个语义分割模型，其主要执行过程与其他语义分割模型类似：首先，利用卷积进行下采样；然后，提取一层又一层的特征，利用这一层又一层的特征图谱进行上采样；最后，得到一个输出结果图像，该图像的每个像素点均对应一个类别。

主干网络采用轻量化卷积神经网络mobilenetv2进行特征提取，其核心在于深度可分离卷积，即将一个标准卷积用两个独立的分解卷积进行替换，结构如图4所示。第一层称为逐层卷积，它通过对每个输入通道应用单个卷积滤波器来执行轻量级滤波。第二层是1×1卷积，称为逐点卷积，它通过计算输入通道的线性组合来计算新的特征，有助于特征的提取。

mobilenetv2对网络模型进行了有效的压缩，其核心模块结构图如图5所示。标准卷积对大小为hi×wi×di的输入张量，应用卷积核：

k∈Rk×k×di×dj，

产生大小为hi×wi×dj的输出张量，标准卷积层具有hi×wi×di×dj×k×k的计算成本。深度可分离卷积实际上是标准卷积层的插入式重新排列，它的卷积效果几乎和普通卷积一样，但计算代价只有hi×wi×di×(k2+dj)。与传统卷积层相比，高效的深度可分离卷积减少了近乎k2的计算量(实际上是k2dj/(k2+dj))。由于mobilenetv2采用k=3，因此计算成本比标准卷积少8～9倍。基于mobilenetv2的杂物检测模型的网络结构如图6所示。

![图片][18d9090478d9e5f4bb6e61e674137c7e.png]

**图4 深度可分离卷积示意图**

![图片][7c0477a9edb21a7d9309e06dcddb8acd.png]

**图5 mobilenet v2核心模块结构图**

![图片][67d0e40361cfe35ff9e0552c235e9427.png]

**图6 基于mobilenet v2的unet模型网络结构图**

![图片][ab6962edc6e77d4adfd8ebfa488d993c.png]

**分拣动作方式最优决策**

在杂物智能分选系统中，机械手分拣动作控制的最大难点是如何在密集的物料中精准抓取目标杂物，在保障分拣效率的同时，降低机械手故障的可能性。因此，研究杂物检测装置与分拣控制装置的协同作用机制至关重要。

根据杂物类型的不同和带式输送机上物料与杂物的空间关系，将分拣动作方式的最优决策拆解为以下几种情况：

(1) 硬质目标杂物周围无物料干扰。当机械手夹取硬质目标杂物，且杂物周围无其他物料干扰时，由于机械手执行动作时不会受到影响，如果硬质杂物多为棍状杂物，可直接将检测结果最小外接矩形中心点作为夹取点。

(2) 软质目标杂物周围无物料干扰。麻绳等软质杂物在物料传送带上的姿态往往各不不同，当目标杂物的质心与杂物轮廓最小外接矩形中心不重合时，则不能将最小外接矩形的中心点直接作为夹取点。此时，应结合检测装置中的像素级语义分割结果，对掩码部分进行骨架提取，最终将骨架的中心确定为夹取点。

(3) 目标杂物周围有物料干扰。当目标杂物被物料压住，或物料与杂物紧贴时，无论是选择最小外接矩形中心，还是选择目标杂物图像骨架中心作为夹取点，都有可能受到物料影响，轻则使机械手受物料阻挡而导致最终夹空或夹到物料，重则影响机械手正常动作，导致运动控制器报警，影响生产效率。因此，在有物料干扰的情况下确定杂物夹取点的位置，需同时考虑物料位置与杂物位置。可结合深度学习中的目标检测网络，对物料进行统计和定位，得到物料的位置信息与轮廓外接矩形，然后根据物料与杂物的空间关系，将夹取点选择在不受物料影响的骨架区域。

![图片][58ca8ab5b0d21aa11bc989ee0037c211.png]

**系统测试分析**

**4.1**

**测试方法**

根据前期杂物智能分选系统的工业调试情况，对系统在不同生产状态下的分拣效果进行了在线测试与分析。测试数据来源于淮北矿业集团涡北选煤厂2019年8月—2020年1月生产期间的调试测试试验与生产测试试验。分拣效果采用了4个评测指标：像素分割准确率、杂物检测准确率、机械手分拣成功率和系统分拣率。

(1) 像素分割准确率采用交并比，即检测模型对杂物预测的结果图像和杂物真实结果图像的交集与并集的比值。该指标可体现模型像素分割的精准度。

(2) 杂物检测准确率即某时间段内模型正确检测到的杂物与杂物总数的比值。该指标可以体现模型杂物检测的准确程度。

(3) 机械手分拣成功率是指机械手在接收到杂物检测结果并执行分拣动作后的拣选动作成功率，用某时间段内机械手成功分拣出的杂物数与检测系统检测到的杂物数的比值表示。该指标可以体现机械手的分拣质量。

(4) 系统分拣率由某时间段内机械手成功分拣出的杂物数与生产线上总杂物数的比值表示。该指标可体现杂物智能分选系统最终的分拣效率。

**4.2**

**测试结果分析**

在选煤厂生产状态下，针对正常生产、煤泥污染严重和物料堆叠严重三种情况分别进行了测试与分析。

**4.2.1 正常生产情况**

正常生产时，物料分布均匀，粒度大小适中，堆叠情况较少。正常生产情况下的测试图如图7所示，测试分析结果见表1。

![图片][5885cf1fdf0916f884cda38b531ab3ec.png]

**图7 正常生产情况下的测试图**

**表1 正常生产情况下的测试结果**

![图片][442b09ce3e3e454a9b75680caa1474e7.png]

**4.2.2 煤泥污染严重情况**

当工艺生产线前端出现筛分设备堵塞等情况时，会导致系统对杂物的检测难度上升。虽然在生产中此类情况较少，但是为了测试系统的鲁棒性，也单独进行了统计分析。煤泥污染严重情况下的测试图如图8所示，测试分析结果见表2。

![图片][51f4b80d9ff7f542594211da5e53209c.png]

**图8 煤泥污染严重情况下的测试图**

**表2 煤泥污染严重情况下的测试结果**

![图片][4f8776c37cae0dc503f095061cc64e3f.png]

**4.2.3 物料堆叠严重情况**

当物料的流量过大或过于集中在杂物周围时，灰度杂物的检测质量和机械手的分拣质量均会受到一定影响。物料堆叠严重情况下的测试图如图9所示，测试分析结果见表3。

![图片][9e1975e73fa333dd934d6c5395a0d13a.png]

**图9 物料堆叠严重情况下的测试图**

**表3 物料堆叠严重情况下的测试结果**

![图片][c0f1423eafaa7553f6118cdc6030c4d0.png]

**4.3**

**最终测试结果**

根据5个月的测试试验，正常生产、煤泥污染严重和物料堆叠严重三种情况在生产中出现的比例大约为6∶1∶3，故以此为权重对四个评测指标进行综合计算，最终得出：像素分割准确率为90.381%，杂物检测准确率为96.647%，机械手分拣成功率为94.759%，系统分拣率为91.640%。

![图片][c7afd721cb3d7cd060d14a833cd9a996.png]

**结　论**

(1) 建立了基于语义分割的像素级杂物识别模型，构建了复杂环境条件下机械手精准抓取策略，能够避开干扰物，实现硬质物料和轻质物料抓取点的精确选择。

(2) 基于机器视觉的煤中杂物智能分选系统采用了机器学习的方法，运用人工智能技术在线识别煤中的杂物，并配合后端的机械手执行机构完成杂物的拣选，最终实现了煤中杂物的智能分选。

(3) 煤中杂物智能分选系统是人工智能技术与煤炭分选过程有机结合的成功示范，必将推进人工智能技术在煤炭洗选加工过程中的广泛应用。

原文引自

![图片][d45ec8255258625a6609e6e86a98b198.png]

**作者简介**

王卫东(1978—)，男，安徽淮北人，教授，博士，从事矿物加工过程检测与控制的相关研究工作。

**引用格式**

王卫东，张康辉，吕子奇，等.基于机器视觉的煤中杂物智能分选系统研究\[J\].选煤技术，2020(2)：87-91.

声明：部分内容来源于网络，仅供读者学术交流之目的，文章版权归原作者所有。如有不妥，请联系删除。

[da404667f55ab10346ab5f434d1582f6.png]: /images/20221022/78986fa140be45fb99c29e327aa56196.png
[768158c608c3808d9c860bee27c45fb6.png]: https://img-blog.csdnimg.cn/img_convert/768158c608c3808d9c860bee27c45fb6.png
[16c29b62b0799892d65987c239d9ba79.png]: https://img-blog.csdnimg.cn/img_convert/16c29b62b0799892d65987c239d9ba79.png
[9f167050a808a0a7a7884d548d3efe28.png]: https://img-blog.csdnimg.cn/img_convert/9f167050a808a0a7a7884d548d3efe28.png
[4afdffbb2eb2fe0b2b1fc8742cd6eb4f.png]: https://img-blog.csdnimg.cn/img_convert/4afdffbb2eb2fe0b2b1fc8742cd6eb4f.png
[15130ee209f25de5f5350c40abffac33.png]: https://img-blog.csdnimg.cn/img_convert/15130ee209f25de5f5350c40abffac33.png
[18d9090478d9e5f4bb6e61e674137c7e.png]: https://img-blog.csdnimg.cn/img_convert/18d9090478d9e5f4bb6e61e674137c7e.png
[7c0477a9edb21a7d9309e06dcddb8acd.png]: https://img-blog.csdnimg.cn/img_convert/7c0477a9edb21a7d9309e06dcddb8acd.png
[67d0e40361cfe35ff9e0552c235e9427.png]: https://img-blog.csdnimg.cn/img_convert/67d0e40361cfe35ff9e0552c235e9427.png
[ab6962edc6e77d4adfd8ebfa488d993c.png]: https://img-blog.csdnimg.cn/img_convert/ab6962edc6e77d4adfd8ebfa488d993c.png
[58ca8ab5b0d21aa11bc989ee0037c211.png]: https://img-blog.csdnimg.cn/img_convert/58ca8ab5b0d21aa11bc989ee0037c211.png
[5885cf1fdf0916f884cda38b531ab3ec.png]: https://img-blog.csdnimg.cn/img_convert/5885cf1fdf0916f884cda38b531ab3ec.png
[442b09ce3e3e454a9b75680caa1474e7.png]: https://img-blog.csdnimg.cn/img_convert/442b09ce3e3e454a9b75680caa1474e7.png
[51f4b80d9ff7f542594211da5e53209c.png]: https://img-blog.csdnimg.cn/img_convert/51f4b80d9ff7f542594211da5e53209c.png
[4f8776c37cae0dc503f095061cc64e3f.png]: https://img-blog.csdnimg.cn/img_convert/4f8776c37cae0dc503f095061cc64e3f.png
[9e1975e73fa333dd934d6c5395a0d13a.png]: https://img-blog.csdnimg.cn/img_convert/9e1975e73fa333dd934d6c5395a0d13a.png
[c0f1423eafaa7553f6118cdc6030c4d0.png]: https://img-blog.csdnimg.cn/img_convert/c0f1423eafaa7553f6118cdc6030c4d0.png
[c7afd721cb3d7cd060d14a833cd9a996.png]: https://img-blog.csdnimg.cn/img_convert/c7afd721cb3d7cd060d14a833cd9a996.png
[d45ec8255258625a6609e6e86a98b198.png]: https://img-blog.csdnimg.cn/img_convert/d45ec8255258625a6609e6e86a98b198.png