Q1  基于CCTV图像的管道缺陷智能识别和分类技术是怎样实现的？


       A：从原理上看，该技术隶属于计算机视觉研究领域，通过获取图像、图像预处理、特征抽取、分类器设计和分类决策等程序，提取并辨认指 定目标图像，从而建立人工智能系统。通俗地说，就是利用管道缺陷图像数据作为“教学范本”，教会机器什么是我们需要的信息，并对信息进行判断和分类，达到和人工判读管道缺陷相同的效果。


      排水管道缺陷检测领域的计算机视觉相关方法主要有传统基于规则的方法、传统机器学习方法、深度学习方法和多策略融合方法。笔者调研相关论文所使用的各方法比例如下图1所示：

图1  引用文献的个研究方法比例

    （1）传统基于规则的算法是指基于数学微分思想和形态学原理的边缘检测算法，根据图片画面中的亮暗、光影等特征，定位管道缺陷，实现检测功能。但该方法存在较多不足，包括：相关研究的样本较少，识别准确率参差不齐；依赖人工判断，智能化程度不高；没有训练过程，泛化能力差等。因此，关于此方法的创新性研究不多。


    （2）传统机器学习方法是计算机从大量数据中提取数据特征并进行学习，通过模型训练进而解决相应问题的过程。该方法的智能识别能力和综合识别效果有所提升。但该方法只能提取少量缺陷特征，输出结果较单一，因此仅能判断管道是否完好或识别少量缺陷类别。


    （3）深度学习方法是机器学习的分支，其中又以卷积神经网络（Convolutional Neural Networks，CNN）应用最广。主要流程为：将图片输入后由卷积层提取特征，使用激活函数加入非线性元素，经池化层降维处理，最 后通过全连接层分类输出，如图2所示。

图2  卷积神经网络结构示意图

        当前，管道缺陷检测主要针对图像分类和目标检测问题展开，涉及各研究比例如下图3所示。

图3  深度学习方法用于不同视觉任务的论文比例

      图像分类需根据不同缺陷特征（结构性或功能性）将给定的缺陷图片分类。应用较多的CNN模型有ResNet、AlexNet、VGG和GoogleNet等，模型训练图片数量从几百至上万，可区分的缺陷类别较多，绝大部分输出准确率超过80%。


      目标检测需识别图片中存在的缺陷并以选框形式标识出来，应用较多的CNN模型有YOLO和Faster R-CNN，引入目标检测器或层级式类别注意力机制也能达到目标检测效果。


      相比前两种方法，深度学习模型的训练样本数量可达数万张，数据处理能力较强；缺陷特征提取过程减少了人工工作量，智能化程度较高；能实现图像分类和目标检测等任务，模型功能性丰富；大部分模型识别精度很高，输出效果较优。


     （4）多策略融合方法采取模块化、分步骤思路，由两种或两种以上机器学习或深度学习模型共同构成缺陷图像检测分类框架。该方法不仅能解决常规图像分类和目标检测问题，还在缺陷边缘分割、细粒度分类、图像动态特征捕获、缺陷实例分割和全过程自动化评估等问题上体现了优 越性。该方法更适用于视频缺陷识别或其他特定场景，前瞻性很强，但还需继续优化模型运算速度和识别精度。

Q2  如何评价管道缺陷检测模型的好与坏？


       A：管道缺陷图像智能检测模型设计应考虑适用性、易用性和经济性等多方因素。然而，对于模型评价使用的指标及结果可接受范围等，业内尚未形成共识。概括来说有以下两类指标：

    （1）过程评价指标。它是模型在运行过程中表征其精度和速度的一系列指标。例如：“交并比（Intersection over Union，IoU）”表征模型识别区域面积与实际标记面积的大小关系，两部门面积重合度越高，识别越精 准；模型运行速度表征检测分类的即时性等。


    （2）结果评价指标。它直观有效地评估模型输出效果，常用的评价指标有准确率（Accuracy）、精 确率（Precision）、召回率（Recall）、综合评价指标（F-Measure）和ROC（Receiver Operating Characteristic）曲线等。


Q3  在当前国内市场上，管道智能检测发展如何？


       A：当前我国市场上的CCTV管道机器人在硬件层面已无需依赖进口，实现了国产化和自主化。国内二十余家管道检测机器人制造企业和市政管网非开挖修复单位大力推进缺陷检测软件技术研发，大多基于深度学习算法，已有可商用的产品。目前效果最 好 的管道缺陷视频分割系统识别精度可达98%。


      然而，现投入市场使用的缺陷检测系统智能化、自动化水平仍不够高，图像识别以区分正常管段和缺陷管段为主，细小缺陷抓取准确率很低，对缺陷进行细分类的过程仍依赖人工。调研中还发现，管道缺陷智能检测技术的市场普及率较低。一方面，现有软件还不能完全脱离人工操作；另一方面，智能检测配套软硬件成本较高，利用人工判读较为经济。


      国内管道缺陷智能检测领域还不成熟，仍处上升期。要加大对管道检测智能系统的研发投入，不断扩充深度学习模型样本量，提高识别精度，实现细分类功能。必要时可考虑引入激光测距和3D扫描技术，实现软硬件结合发展，进一步降低缺陷识别的成本。


Q4  管道缺陷智能检测技术的未来和挑战？


       A：由于基于规则的图像分割算法智能化程度不高、基于小样本的传统机器学习方法无法适应大量图像分类要求，目前，以卷积神经网络为主的深度学习方法成为了管道缺陷智能检测技术的研究重点，并面临以下挑战：

    （1）持续扩充有效的图像样本数据库。图像样本数量和质量是影响检测速度和精度的重要因素，样本数量少易产生过拟合问题，缺陷样本数量不平衡会导致模型泛化能力弱，样本图像相似度高或光照条件弱会增加特征提取难度。


    （2）加快现有智能检测算法在管道检测市场的推广应用。多缺陷检测和实例/语义分割技术已成为主流，应加大智能算法的迁移应用力度，优化缺陷细分类检测、多缺陷共存检测和缺陷实例分割等功能。


    （3）结合多技术手段，提升管道视频识别精度。视频缺陷的实时定位受照明和画面模糊度影响很大，使用视频自动化截图会降低缺陷识别率。为了帮助缺陷特征提取，需提升传统管道机器人硬件水平，如利用三维激光雷达或深度相机以获取更多空间信息和缺陷细节。


    （4）积极构建管道健康评估一体化智能系统。检测系统应以我国现行规范为指南，考虑缺陷严重等级和管段综合得分，优化系统视觉体验和交互体验，生成智能检测报告，选取修复工法，合理评估管道使用年限。



微信对原文有修改。原文标题：排水管道缺陷图像的智能识别分类技术综述；作者：廖嘉杰、黄  胜、马保松、林沛元；作者单位：中山大学土木工程学院。刊登在《给水排水》2023年第7期。