基于深度学习的复杂城市排水管道缺陷智能识别系统

基于深度学习的复杂城市排水管道缺陷智能识别系统

许铁林，廖立国

（中冶成都勘察研究总院有限公司，成都 610023）

摘要：随着现代化进程的不断推进，城市排水系统作为城市基础设施的重要组成部分，其规模和复杂程度不断增加。传统管道缺陷识别依赖于人工判读，费时费力且生产周期长。因此，开展排水管道缺陷智能识别系统研究具有重要的现实意义。本文针对工程项目中的实际需求，提出并实现了一套基于深度学习的复杂城市排水管道缺陷智能识别系统。通过管道缺陷数据库建立、多尺度缺陷检测模型构建，样本增量学习和迁移学习、基于专家系统的评估模型和帧间差分算法等关键技术，实现了缺陷识别的智能化和自动化。经生产实践验证，缺陷智能识别系统精确率达到78.04%，召回率达到84.59%，可有效提高管道缺陷检测效率。

关键词：深度学习；排水管道；缺陷识别；增量学习

中图分类号：TP391.4文献标识码：A

Intelligent identification system of complex urban drainage pipeline defects based on deep learning

XU TielinLIAO Liguo

（Chengdu Surveying Geotechnical Research Institute Co., Ltd. of MCC,Chengdu 610023）

Abstract: With the continuous advancement of modernization, urban drainage system, as an important part of urban infrastructure, is increasing in scale and complexity. Traditional pipeline defect identification relies on manual interpretation, which is time-consuming, laborious, and has a long production cycle.Therefore, conducting research on intelligent recognition systems for drainage pipeline defects has important practical significance.This article proposes and implements an intelligent recognition system for complex urban drainage pipeline defects based on deep learning, targeting practical needs in engineering projects.Through the pipeline defect database, multi-scale defect detection model construction, sample incremental learning and transfer learning, evaluation model based on expert system and inter-frame difference algorithm and other key technologies, the intelligent and automatic defect identification is realized.The precision rate of the intelligent defect identification system is 78.04% and the recall rate is 84.59%, which can effectively improve the efficiency of pipeline defect detection.

Keywords:Deep learning；drainage pipeline；defect identification；Incremental Learning

1 引言

现代化城市发展进程中，排水管网作为城市排水系统中负责雨污水排放的重要基础设施，其规模和复杂程度不断增加[1]。在排水管网长期运行过程中出现的结构性或功能性缺陷会导致管道过水能力降低，不仅会引发城市内涝、黑臭水体污染和地表塌陷等问题，而且可能危及环境、交通安全，甚至对居民生命财产造成严重威胁。通过定期开展全面的排水系统管道检测工作有助于及早发现管道安全隐患，减少甚至避免因管道缺陷而导致的事故发生，同时为排水管网运维管理提供科学依据和辅助决策，延长排水管道服役寿命。目前排水管道检测方法主要采用闭路电视（Closed Circuit Television，CCTV）检测，通过搭载摄像设备的爬行器进入管道内部拍摄实景影像，再由技术人员对采集的大量视频进行管道缺陷目检评估

[2]。此类人工检测方法工作效率低、且易受主观因素影响[3]。目前，排水管道缺陷的智能化、自动化识别技术，已经成为城市排水系统建设和管理的重要研究领域之一。

随着深度学习在智能识别领域的迅速发展，因其具备自动提取、组合图像基本特征信息的特点，并能够通过神经网络从原始数据中实现自动学习，适用于发现高维数据中的复杂结构特征，为排水管网缺陷智能识别系统的研发及应用提供了新的解决方案。Cheng等[4]使用基于区域的卷积神经网络（Faster R-CNN）实现了管道缺陷自动检测，平均精度（mAP）达到83%，但模型仅包含了树根侵入、裂缝、积水渗透和沉积物四种最常见的缺陷。Kumar等[5]开发了一种利用深度卷积神经网络对CCTV检测图像中几种特定类型缺陷进行分类的系统，证明了视频自动解译的可行性。Meijer等[6]使用卷积神经网络能够自动检测出管道是否存在异常，可以有效降低人力劳动，但仍无法实现自动分类。Hassan等[7]提出了一种基于卷积神经网络的CCTV检测视频缺陷分类系统，通过从CCTV视频中提取图像，手动构建数据集并进行验证，并根据预定义的六个缺陷对图像进行标记，最高达到了96.33%的准确率。Li等[8]基于ResNet-18网络，构建了用于排水管道缺陷检测的网络模型，对于常见的缺陷检测准确率从78.4%提高到83.2%，优于传统机器学习方法。Xie等[9]提出了一种基于两级分层深度CNN模型的污水缺陷自动分类系统，在分类精度方面表现出较高的性能。

国外排水管道的分布情况、缺陷类型划分及样本类型均与国内的差异较大，因此，国外的管道缺陷识别系统不适用于我国复杂的城市排水系统。王庆等[10]在Faster R-CNN算法基础上，利用聚类分析方法提出一种优化的排水管道缺陷检测模型，有效提高了排水管道缺陷检测的识别正确率。户莹[11]通过改进的AlexNet网络实现了排水管道十种缺陷类型的自动分类，并运用SegNet网络完成了缺陷具体位置的精确分割标注，但标注准确率不高。吕兵等[12]基于VGG16模型，提出一种提高CCTV视频中管道缺陷的检测方法，对无缺陷识别率达到85.33%。甄珍等[13]同样使用VGG16卷积神经网络，将管道图像二分类准确率提高到94.3%。何敏等[14]以预训练的AlexNet和ResNet50网络迁移学习管道缺陷特征，在实际工程测试中准确率分别达到85.41%和87.94%。周倩倩等[15]通过CNN模型对CCTV视频中常见的六种管道状态的平均识别率达到90%。彭述刚等[16]基于InceptionV3框架提出IM-CNN算法，经实验验证该算法准确率优于传统CNN算法。

虽然目前排水管道缺陷识别领域利用智能检测技术取得了一定的成果，但部分系统只能实现含缺陷关键帧数据的提取，降低人工判读的时间，大部分系统都不能实现缺陷类型的全覆盖，只能对一种或几种特定缺陷进行智能化识别，或者仅能实现静态图像处理，距离管道缺陷智能识别一体化应用仍有较大差距。现阶段从CCTV检测视频到生成管道检测报告仍需大量人机交互操作，其核心问题在于管道缺陷关键帧的确定、和缺陷识别精度，所以在智能识别阶段需要综合考虑管道缺陷识别率、召回率以及检测效率等问题[17]。部分学者已经开始了此方向的研究，如王大成等[18]以ResNet-50网络为基础设计了一套管道缺陷智能检测系统，包含了管道信息管理、缺陷智能检测、缺陷展示和报告自动等模块，缺陷识别率和召回率分别可以达到70.90%和75.07%。游小玲等[17]通过改进YOLOv3网络，提出一套排水管道缺陷智能检测FEDDR系统，实验结果表明对常见的十种管道缺陷检测准确率达到94.3%，召回率达到98.7%。

综上所述，现有的排水管道缺陷智能识别系统研究成果难以真正实现工程化应用。因此，在现有研究成果的基础上，本文提出一套基于深度学习的复杂城市排水管网缺陷智能化识别系统。

2 系统总体框架

基于深度学习的复杂城市排水管网缺陷智能化识别系统采用C/S架构，即客户端-服务器端的模式。将排水管道缺陷智能化识别全过程按照功能需求的不同划分为不同的模块，使整个系统具备高内聚、低耦合的特点，保障系统的可维护性和可扩展性，系统总体框架如下图1所示。

图1 系统总体框架

（1）服务器端：系统服务器端担负缺陷数据库管理、算法模型训练和缺陷智能识别的重要任务，是整个系统的核心。①管道缺陷数据库，依托实际工程项目完成管道缺陷图片的搜集，对不同类型的缺陷样本进行分类整理后建立初始的管道缺陷数据库；②算法集成模块，集成了实现管道缺陷智能化识别的关键算法，并能够在生产作业过程中采用主动学习和迁移学习的方法不断进行增量学习，是系统的关键技术；③系统测试模块，系统迭代优化后，都需要经系统测试模块完成自动化测试和人工测试后再更新到客户端。

（2）客户端：在管道缺陷智能识别过程中，由系统客户端完成CCTV检测视频数据的集成管理。①视频列表模块，用于显示视频的基本信息以及检测状态，如视频名称、大小、时长、检测状态等，并完成视频文件的列表的添加、删除、排序等；②视频实时呈现模块，用于视频缺陷识别过程显示，并在缺陷自动识别完成后对视频进行浏览和控制；③检测结果列表，用于显示检测结果的异常点、异常类型、异常时间等信息；④结果标注模块，用于对检测结果进行如添加注释、标记异常点等操作；⑤结果调整模块，可以对检测结果进行缺陷帧逐帧调整、标记缺陷位置、类型等，支持检测结果的局部和全局调整，用于保障检测结果的可靠性；⑥报告自动生成模块：自动按照标准模版生成报告，并支持多种输出格式。

3 深度学习模型构建

3.1 管道缺陷数据库建立

依托多项排水管网检测项目的管道普查资料收集排水管网数据，累计搜集管网普查视频约1TB，管道缺陷图片约271,900张，每张图片都包含管道类型、管径、管材、缺陷类型、距离等信息。本文将管网数据按照机器人的生产厂商进行分类，并依据《城镇排水管道检测与评估技术规程》将缺陷数据分为结构性缺陷和功能性缺陷共16个类别[19]，以便于更好地分析常见管道缺陷以及偶发性管道缺陷。

为改善样本数量不均衡问题，通过角度旋转、噪声添加、伽马变换等图像数据增强方法扩充样本数量所占比重较少的缺陷类型[17]。

3.2 智能识别技术研发及优化

由于管道材质及所处环境不同，排水管道的缺陷和非缺陷的特征均呈现多样性，包括排水管道类型多样、排水管道缺陷多尺度问题以及不同等级的缺陷呈现形式不同等，为解决上述问题，进一步提高缺陷智能识别的效率及准确度，提出一种融合传统图片分类算法的组合算法，采用多算法耦合的方式，综合多种算法的优势。

3.2.1 缺陷检测模型

残差神经网络（Residual Network，ResNet）通过引入残差块（Residual Block），使得网络学习恒等映射（Identity Mapping）更加容易[20]，有效解决了在深度神经网络中增加深度带来的梯度消失问题。在残差网络的基础上构建多尺度缺陷检测模型，可以充分利用不同粒度的特征，并在多个尺度上进行缺陷检测，达到提高检测精度的目的，主要步骤如下：

（1）特征提取。通过应用卷积神经网络ResNet-18，提取、、、层的特征、、、。这四层特征在不同的尺度空间内，可以形成一个多尺度的特征表示，同时捕捉到图像的局部细节和全局结构，显著提高模型的性能和准确性。

（2）特征融合。使用以下公式融合特征、、、。

(1)

(2)

(3)

式中：

—卷积，确保每层特征通道数相同；

—2倍上采样，确保每层特征大小相同；

—卷积，消除上采样引起的混叠效应；

—融合后的特征参数。

（3）缺陷检测。为了在不同的尺度空间上产生作为检测缺陷的基准位置的锚点，使用多任务学习方法，同时进行缺陷检测和边框回归的任务。通过设计一个损失函数，然后根据每个任务的难度和重要性进行损失权重调整。损失函数的公式如下：

(4)

(5)

式中：

—检测任务的损失函数；

—样本量；

—回归任务的损失函数；

—缺陷样本量。

多任务学习方法可以提高模型的泛化能力和鲁棒性，减少模型对特定数据的过度依赖。

（4）检测结果融合。采用非最大值抑制方法进行不同的尺度空间缺陷检测结果的融合，根据缺陷检测结果之间的相似度和概率分布，基于概率模型对多个检测结果进行排序和筛选，去除冗余和重复的结果，只保留最具代表性、最准确的检测结果。部分模型融合后的结果如下图所示：

图2 检测结果融合

3.2.2 增量学习

不同复杂城市排水管网条件下，管道的走向、水流、管径和管道材质等因素存在较大的差异，导致缺陷检测模型的训练样本难以覆盖所有的管道环境。因此，需要对模型进行样本增量学习，通过实际生产作业阶段所收集的新数据来不断扩充模型的训练样本库，使模型能够更好地适应实际环境，提高其缺陷检测的能力。通过样本增量学习调整模型的参数和算法，避免因模型失效而导致的检测精度下降或误报漏报等问题。

本文采用的增量学习方案是先对样本进行K-L散度分析，确认样本符合多样性的要求后，对检测模型进行迁移训练。

对称K-L散度（Symmetric Kullback-Leibler pergence）可用于度量两个变量的交叉熵，借助对称K-L散度计算新样本的特征多样性。首先对新样本进行分割，用已训练获得的检测模型对每个分割进行提取特征，并使用以下公式计算两个分割的对称K-L散度。

(6)

式中：

、—经过检测模型提取的高层语义特征；

—对称K-L散度。

K-L散度能够精准地反应出两个分割之间的差异性。在缺陷检测过程中通过使用基于对称K-L散度的选择标准，对已有的智能识别模型进行连续迁移学习以实现对缺陷检测模型的增量学习，使得模型在不断学习中逐渐提高其性能，并适应新的环境和任务。

3.2.3 基于专家系统的评估模型

专家系统通过某领域一个或多个专家提供的知识和经验，进行逻辑推理和判断，模拟人类专家在特定领域的思维过程以提供决策支持，包括对管道的结构性和功能性进行全面的评估。

图3 缺陷识别专家系统评估模型

3.2.4 冗余帧去除

采用了帧间差分算法准确识别和提取视频中的关键帧，并基于多层神经网络去除非正常帧。

（1）基于帧间差分算法提取关键帧。帧间差分算法是一种通过对视频图像序列的连续两帧图像做差分运算获取运动目标轮廓的方法。其数学公式描述如下：

(7)

为连续两帧图像之间的差分图像，和分别为和时刻的图像，为差分图像二值化时选取的阈值，表示前景，表示背景。

对视频序列中相邻两帧图像进行帧间差分得到运动区域图像，运动区域图形与背景图像进行差分提取出运动目标图像，运动目标图像与阈值比较得到二值化图像。

对中每相邻两帧图像进行差分处理，获得帧差图像：

(8)

将帧差图像与背景图像差分提取出运动目标：

(9)

将运动目标转换为二值图像:

(10)

式中：式中为二值化输出图像，0、1分别为前景和背景，为阈值。

图4 关键帧提取示例

（2）基于多层神经网络去除非正常帧

在系统中创建了用于训练多层神经网络模型的二分类样本数据集，在构建过程中，确保数据集中的正常帧和非正常帧具有平衡的比例，从而为模型的训练提供全面且多样的数据样本。随后，将筛选出来的关键帧逐一输入到已经训练好的模型中进行分类。基于学习算法和训练得到的权重，自动将输入的帧分为正常帧和非正常帧两类，保留正常帧作为检测帧输出。

4 应用实例与评估

为评估模型性能，需要对检测结果进行评估分析。针对某种缺陷类型，模型判断是否准确是一个二元问题，包含真正例(True Positives，TP)，真负例(True Negatives，TN)，假正例(False Positives，FP)和假负例(False Negatives，FN)四种情况。采用精确率（Precision）和召回率（Recall）作为评价指标[21]，公式如下：

(11)

(12)

图5 缺陷检测实例

利用本文提出的缺陷智能识别系统进行管道缺陷检测，并在成都市双流区排水户内部排水管网普查项目怡心街道片区进行实验性生产，CCTV检测长度共254659.59m。将管道检测视频导入系统客户端进行自动化识别，共识别出18245处缺陷，部分检测出的缺陷示例如上图5所示。

通过与人工检测结果进行对比，缺陷智能识别系统精确率达到78.04%，召回率达到84.59%。

5 结论

本文针对传统排水管道缺陷识别自动化程度不高、效率低等问题，提出了基于深度学习的复杂城市排水管道缺陷智能化识别系统，通过构建管道缺陷数据库和研发高效缺陷智能识别技术，实现了自动识别管道缺陷，并生成符合规范要求的缺陷检测报告。该系统可以提高管道缺陷检测的精准度及检测效率，实现管道结构性和功能性的智能化评估，具有一定的工程实用性。未来，我们将进一步优化该系统，提高其实用性和可靠性，为城市排水系统的维护和管理提供更加有效的手段和技术支持。

参考文献

[1]廖嘉杰,黄胜,马保松,等. 排水管道缺陷图像的智能识别分类技术综述[J]. 给水排水,2023,59(07):148-156.

[2]王俊岭,邓玉莲,李英,等. 排水管道检测与缺陷识别技术综述[J]. 科学技术与工程,2020,20(33):13520-13528.

[3]钟洪德.基于深度学习的排水管道缺陷内窥检测智能识别系统研究[J].城市勘测,2022,(01):165-170.

[4]Cheng J C P, Wang M. Automated detection of sewer pipe defects in closed-circuit television images using deep learning techniques[J]. Automation in Construction, 2018, 95: 155-171.

[5]Kumar S S, Abraham D M, Jahanshahi M R,et al. Automated defect classification in sewer closed circuit television inspections using deep convolutional neural networks[J]. Automation in Construction, 2018, 91: 273-283.

[6]Meijer D, Scholten L, Clemens F, et al. A defect classification methodology for sewer image sets with convolutional neural networks[J]. Automation in Construction, 2019, 104: 281-298.

[7]Hassan S I, Dang L M, Mehmood I, et al. Underground sewer pipe condition assessment based on convolutional neural networks[J]. Automation in Construction, 2019, 106: 102849.

[8]Li D, Cong A, Guo S. Sewer damage detection from imbalanced CCTV inspection data using deep convolutional neural networks with hierarchical classification[J]. Automation in Construction, 2019, 101: 199-208.

[9]Xie Q, Li D, Xu J, et al. Automatic detection and classification of sewer defects via hierarchical deep learning[J]. IEEE Transactions on Automation Science and Engineering, 2019, 16(4): 1836-1847.

[10]王庆,姚俊,谭文禄,等. 基于Faster R-CNN的排水管道缺陷检测研究[J].软件导刊,2019,18(10):40-44+49.

[11]户莹.基于深度学习的地下排水管道缺陷智能检测技术研究[D].西安:西安理工大学,2019.

[12]吕兵,刘玉贤,叶绍泽,等.基于卷积神经网的CCTV视频中排水管道缺陷的智能检测[J].测绘通报,2019(11):103-108.

[13]甄珍,赵志鹏.VGG16在地下排水管道缺陷图像分类中的应用[J].科学技术创新,2021(07):101-102.

[14]何敏,齐程程,陈家雪,等.基于检测图像的排水管道缺陷智能辅助分类方法[J].科学技术与工程,2021,21(35):15144-15151.

[15]周倩倩,司徒祖祥,腾帅,等.基于卷积神经网络的排水管道缺陷智能检测与分类[J].中国给水排水,2021,37(21):114-118.

[16]彭述刚,王大成,谭军辉,等.基于改进卷积神经网络的城市地下排水管道视频智能识别[J].测绘通报,2021(10):132-135+167.

[17]游小玲,蔡永香,王荟奥,等. FEDDR：一套实用的地下排水管道缺陷智能检测系统[J]. 科学技术与工程, 2023, 23(7): 2932-2944.

[18]王大成,谭军辉,彭述刚,等.利用深度学习模型智能识别地下排水管道缺陷[J].测绘通报,2021(10):141-145.

[19]中华人民共和国住房和城乡建设部．城镇排水管道检测与评估技术规程:CJJ 181-2012［S］．北京:中国建筑工业出版社，2012．

[20]赵志成,罗泽,王鹏彦,等.基于深度残差网络图像分类算法研究综述[J].计算机系统应用,2020,29(01):14-21.

[21]甄珍.机器学习在地下排水管道缺陷图像分类中的应用[D].南京:南京信息工程大学,2021.