这是一篇有关于结构工程、土木工程硕士论文代写，深度学习;震后结构检测;道路检测;图像检测;视频检测;为研究论点。本文基于卷积神经网络强大的特征提取能力开展了损伤检测、构件检测和建筑构件损伤程度评估的工作。本文提出 DeepLabV3+语义分割模型用来识别和分割图像中土木工程结构表面损伤，DeepLabV3+网络是编码器和解码器的语义分割网络。
目录
摘要
Abstract
第一章 绪论
1.1 研究背景和意义
改革开放以来，城市建筑、道路桥梁及地下隧道等土木基础设施在加速发展的国家 经济的积极影响下得到了大量而广泛的建设建成的工程结构在长期的使用中会逐渐出 现材料老化，承载力下降等问题，需要定期对其进行常规的检测。而如今，越来越多的 工程设施结构达到了一定使用年限而需要更频繁和详细的检查，传统主要依靠人力的检 查方法明显不能满足与日益增的工程检测需求。准确，高效率，自动化的检测技术的研 究和使用开始得到越来越多的工程技术人员和研究者的广泛和密切关注。
1.2 结构表面损伤检测的国内外研究现状
根据国内外的研究现状，目前结构表面损伤检测主要有：传统检测法、阈值分割法、 边缘检测法、机器学习。传统的检测方法主要通过有技术经验的工程师在检查现场目测 判断及辅以测量设备记录参数完成检测，而后三者则属于依靠计算机视觉实现自动检测 的方法。
1.2.1 传统检测方法
传统检测方法包括人工检测法、局部破损检测和无损检测。人工检测法通过人工目 测检查或借助便携仪器如水准仪、经纬仪、锤或铲、测宽仪等到现场测量得到信息进行 判断评估。经纬仪用于判断土木工程结构是否倾斜，允许工程师通过其记录结构倾斜程 度；裂缝测宽仪能够用于测量土木工程结构的裂缝宽度、数量、位置、长度、走向、形 态和稳定性等，记录并评估裂缝的状况[ 1]。 人工检测法通常需要有经验的工程师定期或在特殊情况下前往现场进行勘测和检 查工作，该方法用于大型结构检测时容易耗费大量的人力、物力和财力。例如大跨度的 桥梁结构的检测需要搭建观测平台或使用专门的桥检车来辅助检测。还有，建设于高山、 沟谷及城市人口密集区域的高层建筑结构的检测工作亦难以方便开展。
1.3 基于深度学习的表面损伤检测
1.3.1 深度学习在计算机视觉领域的研究现状
深度学习是机器学习方法的一个重要分支，其能够通过多层神经网络的组合与训练， 从大量数据中学习到更加复杂的模式和规律，从而自动地提取到数据的抽象特征。在计算机视觉领域，深度学习技术可以实现对目标物分类、定位以及分割的任务。 图像分类是计算机视觉领域的一种应用，其目的是将输入的图像分配到预定义的类 别中。该任务通常包括两个主要步骤，即特征提取和分类。分类任务是给定一组单一类 别的图像进行网络模型训练，然后对新的一组图像做出判断是否出现这个类别的目标物。 图像分类在网站监测领域、疾病诊断分类等有着广泛的应用，显著地提高了生产效率。如赵佳雷等[41]结合图卷积神经网络和传统的卷积神经网络有效地对14种胸部疾病分类。 目标检测则能够在给定的图像或视频中，自动地检测出图像中感兴趣的目标物体并 输出其位置和类别信息，在车牌识别、自动驾驶、行人计数及缺陷检测等多个领域均有着较为成熟的应用。蔡先治等[42]在YOLOV5算法上的主干网络加入金字塔注意力机制， 实现端到端的车牌识别。该网络不仅内存占比小，还能达到较高的准确率。刘琪[43]提出 的改进版Faster R-CNN模型，融合残差网络和密集连接网络技术，实现了钢材表面缺陷检测。所设计的方法能够更快速和准确地识别和定位缺陷，在表面缺陷检测方面表现出明显的优势。 语义分割将图像中的每个像素分配到其对应的语义类别中。通过将图像分割成若干 个子区域，并标记出每个子区域所属的语义类别，直接对输入图像进行像素级别的分类， 同时能够处理任意大小的输入图像。语义分割不仅关注图像的局部特征，还注重对整体语义信息的理解和把握。语义分割目前广泛应用于自动驾驶汽车[44]、医学影像诊断[45] 及 人脸识别等任务中。在医疗诊断方面，Zhou等[ 46]提出UNet++模型用于结节，细胞核， 及肝脏图像的分割，表现出极高的准确性和可靠性。
实例分割指能够在图像中精确地标记出每个单独对象，并为每个对象分配一个唯一 标识符的高级视觉任务。与语义分割不同，实例分割不仅区分不同的物体类别，还区分 同一类别中的不同实例。实例分割应用于地理信息系统、工业机器人等领域。如惠健等
[47]基于深度学习对高分辨率的遥感影像建筑进行实例分割。
1.4 本文的主要研究内容
在长时间服役过程中，结构由于多方面因素影响使得其表面出现不同程度的损伤和 不同的损伤类型。结构表面损伤一定程度上反映了结构状态，所以定期对结构表面损伤 检测是有必要的。本文基于深度学习方法对现实场景的土木工程结构损伤进行快速、自
动地检测，具有非常广阔的应用意义和前景。
本文的主要工作内容： 1、设计基于卷积的新型神经网络模型对震后结构进行损伤、 构件分割；2、使用所提出的网络模型对震后结构损伤程度识别。3、对所提出的网络进 行二次改进，应用于复杂实际场景中道路损伤的图像和视频检测。4、通过特征图的可视 化进行分析卷积神经网络原理；通过实验对比，发现主要的影响网络性能的因素。
论文的章节安排如下：
（1）介绍了常见的工程结构检测方法的原理，并总结了这些方法的优缺点和应用 现状。
（2）主要介绍了基于深度学习的卷积网络的基本原理，训练和评估的组成部分和 技术指标。
（3）提出基于卷积神经网络的语义分割模型对震后结构表面的损伤检测。结构表
面损伤包括裂缝、外露钢筋和剥落。检测不同的结构损伤任务时，使用不同的网络去提
取关键的语义信息，并对每个任务进行预测和评估。
（4）提出基于卷积神经网络的语义分割模型对震后结构构件和损伤程度进行整体
评估。其中建筑结构构件包括墙、梁、柱、窗框、窗格、阳台和楼板七类，建筑构件的 损伤程度包括无损伤、轻度损伤、中度损伤和严重损伤四类。不同的任务使用不同的网 络去提取关键语义信息，并对每个任务做预测和评估。此外，还从多个方面分析影响网 络性能的因素，包括改变输入图片的亮度、翻转图片、载入预训练、改变输入网络的图片尺寸和通道数的宽度因子。
（5）第五章提出改进的卷积神经网络进行道路裂缝检测。针对目前裂缝检测方法泛化能力弱、检测效果易受拍摄环境干扰、细小裂缝识别精细度不足问题，改进DeepLabV3+网络称CrackDeep，旨成为一种高效、轻量的裂缝检测模型。在Crack500[ 51] 公开沥青道路裂缝数据集上进行了训练、测试、评估和预测，并对比不同的网络在Crack500测试集上的表现。此外，从特征图的角度分析了Crackdeep的工作机制，理解和设计网络。
第二章 卷积神经网络方法和结构参数分析介绍
2.1 引言
过去，传统的人工方法需要经验丰富的工程师目测检查和评估结构的安全水平。工 程师检查的人工检查和评估强度大、效率低且无法保证工程师的安全。而传统的图像处 理技术在复杂的现实场景容易被干扰，从而无法正确地提取特征，并且通过复杂的图像
处理技术也无法进行多损伤检测。 卷积神经网络（Convolutional Neural Networks, CNN）是深度学习中的一种代表方法，其基本原理是提取图像目标物的特征，用于图像的识别、分割、检测等任务。卷积 操作通过将图像中的每个像素与卷积核（一组权重参数）进行卷积运算可以有效提取图 像中的特征，例如边缘、角、纹理等，自动地学习和提取目标物特征，使得网络更具有鲁棒性和泛化能力，应用更广泛并且可以多损伤识别。 卷积神经网络的训练通常需要大量的标注数据和计算资源，但由于其在图像和视频等领域的出色表现，已成为深度学习领域中最为重要的算法之一。
2.2 卷积神经网络的组成
卷积神经网络是通过计算和层与层之间的传递运行，有正向传播和反向传播。常见的层包括输入层、卷积层、池化层、激活层、随机失活层（Dropout层）、全连接层和输出层。在正向传播过程中，输入的图像数据经过多个卷积层、池化层和全连接层的作用， 最终输出预测结果。在反向传播过程中，根据预测结果和真实标签之间的误差，采用误 差反向传播和梯度下降法来更新卷积层的权重和偏置参数。具体实现时，反向传播通过 链式求导法则将误差从输出层向前逐层传递，调整卷积层的权重和偏置参数，使得模型输出结果的误差更小。
2.3 收集数据和处理数据
2.3.1 收集数据集
本文使用的训练网络的数据集均来自网络，包括第二届IC-SHM提供的QuakeCity 数据集，Yang提供的Crack500沥青道路裂缝数据集[ 51]。用于网络预训练的数据集包括 Cityscapes[ 86]数据集和Pascal VOC数据集 [87]。 QuakeCity数据集包括结构损伤检测、建筑构件分割和构件损伤状态分类三种语义分割数据集。其中，结构损伤检测包括混凝土表面剥落、裂缝检测和钢筋外露，三组数 据集。建筑构件分割包括墙、梁、柱、窗框、窗格、阳台和楼板七种构件类别，一组数 据集。构件损伤状态分类包括无损伤、轻度损伤、中度损伤和严重损伤四种类别，一组数据集。这总共五组数据集，每组数据集包括3805张图片用于训练和验证，还有1004 张图片用于测试。 Crack500数据集为沥青道路裂缝数据集，其中训练集1896张图像，验证集348张 图像，测试集1124张图像。 Cityscapes数据集包括城市的5000张图像进行了像素级的语义和实例标注，分割数 据集包含了30个类，验证数据集上，只有19个语义分割类。其中分成了训练集2975 张，验证集500张，测试集1525张。
2.4 网络环境的搭建和超参数的选择
本文所作的工作均在一台配置了NVIDIA Tesla A40、Intel Xeon Silver 4210R @ 2.40 GHz（X2）处理器和128 GB内存的工作站完成。网络的代码在Python3.8编写，采用 Tensorflow[ 88]作为深度学习框架，版本为Tensorflow-GPU 2.6.0和Keras 2.6.0构建。网络的工作性能的优化需要多次尝试改变超参数才能最终确定。超参数的设置包括输入网络的图片尺寸、训练回合数（epochs）、批大小（batch size）、学习率。
第三章 震后的建筑结构损伤检测
3.1 引言
3.2 DeepLabV3+网络框架
3.3 MobileNetV2和MobileNetV3主干网络
3.4 QuakeCity损伤数据集
3.5 混凝土裂缝的检测
3.6 混凝土钢筋暴露的检测
3.7 混凝土剥落的检测
3.8 本章小结
第四章 震后的建筑结构构件检测与评估
4.1 引言
4.2 基于DeepLabV3+网络多目标检测方法
4.3 QuakeCity建筑构件和损伤状态数据集
4.4 研究影响网络性能的关键因子
4.5 建筑构件检测
4.6 损伤状态评估
4.7 本章小结
第五章 实际复杂场景的道路裂缝检测
5.1 引言
路面裂缝是最常见的土木工程疾病之一。道路交通作为主要运输方式之一，不仅要 对货物的安全负责，还要对运输人员的生命负责。如果路面损害没有及时修复，将会发 生更加严重的损害，会影响交通安全以及道路寿命，更严重会导致人员伤亡及财产损失。 因此，定期的损伤检测在路面的维护和运营中具有至关重要的作用。基于损伤的形态和 位置特征，可以推断损伤的内在损害、恶化和潜在原因，可以为结构评估提供合理的指导并做出及时修复，避免灾害发生。
在许多路面裂缝系统中，道路图像是由扫描相机捕获的[102, 103]。后来随着无人机的 快速发展，它们可以快速、方便、安全地到达现场，拍摄照片和记录视频[104, 105]。检测 位置的图像可以方便地获得，再通过图像处理技术和计算机视觉技术可以自动且快速地识别损害，可以减少工程师的工作量，加快检测效率。
5.2 Crackdeep网络框架
裂缝检测是一个二分法的任务，即识别和分割裂缝和背景。本章节在DeepLabV3+ 网络的基础上，设计了一个名为Crackdeep的新型网络。Crackdeep由编码器和解码器两部分组成。输入的图像首先经过编码器部分，编码器的网络主要包括主干网络。主干网 络首先对图像进行降采样并提取特征，这部分是整个网络的根。主干网络提取的抽象特 征通过跳转连接传递给解码器。解码器融合低分辨率的编码器特征图，然后通过卷积和上采样逐步映射回原始输入图像大小，最后通过Softmax层输出有语义标记的图像，将二元分类结果表示为概率。它将模型预测转换为指数函数，然后将输出归一化，以确保概率为非负值，且每个分类的概率之和为1。
5.3 数据准备
本章节，通过在Crack500[ 51]数据集上进行训练、测试、评估和预测，检验在 DeepLabV3+基础上改进的Crackdeep网络是否具有强大泛化能力和精细分割能力。 Crack500是由天普大学的Yang先生通过手机收集的数据集。只有包含1000个及以上 裂缝像素的区域才被保留下来，图片大小包括640×360和648×484。数据集中包含1896 张图像作为训练集，348张图像作为验证集，1124张图像作为测试集。原始图像是RGB格式的彩色图像，而标注的图像是灰度图像。
5.4 道路裂缝检测
在网络训练前，进行超参数设置，包括样本载入的批量大小（batch size）为16，训 练回合数为300，学习率设置为10- 3和10 -6之间，并且采用Adam优化器和余弦退火学习率调整学习率。然后，采用了数据增强技术进行数据集的扩展，包括旋转、水平翻转、 加入高斯滤波、转换图像色域等，以增强网络的泛化能力。图像大小通过双线性插值调整为512×512输入到模型进行训练。 训练和验证数据集的损失曲线和验证集的MIoU曲线（背景和裂缝的平均IoU）如 图5-4所示。在有预训练的条件下，（a）图中显示训练和验证损失的值迅速下降，在第 30个回合损失值为0.15，随后的损失缓慢下降，在最后50个回合后稳定下来，最小的 损失值达到0.11。在没有预训练的条件下，（b）图显示，训练和验证损失值的下降速度 明显比（a）慢，最后损失值达到0.13并保持稳定。（a）和（b）中的损失曲线表明，无论是否进行预训练，网络都能有效地学习裂缝和背景的特征。而且在训练过程中，训练数据集和验证数据集的损失曲线几乎是重叠的，这说明设计的网络结构在Crack500数据上不会产生过拟合和欠拟合。此外，与没有预训练的情况相比，有预训练的情况下，损失值下降的速度明显更快，最终的损失值也更低。
5.5 从特征图可视化角度分析神经网络的工作机制
在图像识别的卷积神经网络中，网络一般由许多卷积层、正则化层和激活层组成， 因此参数的数量达到数百万，计算量也是无法比拟的。要通过数学公式和计算来解释神经网络是很困难的。本节从特征图的角度分析了神经网络的工作机制。以图5-7作为网 络的输入，输入的大小为512×512。
5.6 应用于现实生活中的场景
在第5.4节中，在Crack500数据集上验证了所提出的Crackdeep网络的良好性能。 但是，Crack500的裂缝数据集的场景与实际检测环境相比噪声点太少，无法确定该网络是否能应用于实际工程的检测。自动检测技术还应该能应用于工程场景才有意义，所以本节从图片检测入手，检验网络在现实场景中的表现。 本人在广州大学附近的道路上，如图5-9所示，将手机距离地面约130厘米处进行 采集不同工况下的照片，每一张相片大小为4624×3472。采集的图片像素过高，后续工 作需要先进行图像处理再进行推理预测。
5.7 视频数据处理
在广州大学校园内采集道路裂缝的视频，手持手机距离地面约130厘米正对着路面 进行拍摄，以每秒一步（一步大概70cm）的速度行走，拍摄了24秒视频，视频的尺寸 为1920×1080。视频包含了很多信息，如粗大的裂缝、多条裂缝、细小的裂缝、背景中 的树叶、地面上的划痕以及坑洞。 在图像检测时，如果输入到网络的图片尺寸越大，那么生成预测图片的时间就越长，在视频检测同样如此。视频裂缝检测对像素要求不高，但是对视频的fps有要求，如果 输出的视频的fps太低，检测人员观看检测视频也会很不顺畅，很不舒适，所以需要对视频进行压缩处理。
5.8 视频检测
视频是静态图形的时间序列，由于人类视觉的局限性，无法感知非常高频率的变化[117]，所以在屏幕上连续快速播放静态图形会给人一种连续运动的错觉。Crackdeep在 Crack500沥青道路裂缝数据集上训练得到最佳参数，然后进行现实场景的裂缝图像识别， 最终可以得到精准识别和精细分割裂缝损伤的结果，验证了网络在Crack500数据集上 训练后可以应用于现实场景的图像检测。本章节的视频检测的网络依然是Crackdeep， 依然是在Crack500数据集上训练（其中5%作为验证集，95%作为训练集）。网络超参数 的设置，样本载入的批量大（batch size）设置为16，学习率设置为10- 3和10 -6之间， 训练回合数为300，采用Adam优化器和余弦退火学习率调整学习率。通过数据增强技术扩展图像的数据量，数据增强技术包括旋转、水平翻转、加入高斯滤波、转换图像色域等。尺寸为512×512图像输入到Crackdeep网络进行训练网络，获得最佳的网络权重。
第六章 结论与展望
6.1 本文工作总结
本文基于卷积神经网络强大的特征提取能力开展了损伤检测、构件检测和建筑构件损伤程度评估的工作。本文提出 DeepLabV3+语义分割模型用来识别和分割图像中土木工程结构表面损伤，DeepLabV3+网络是编码器和解码器的语义分割网络。使用第二届IC-SHM 提供的 QuakeCity 数据集训练网络参数并测试和评估网络性能。还提出Crackdeep 语义分割框架进行现实场景的道路裂缝检测。Crackdeep 在 Crack500 训练集上训练，在验证集和测试集上测试和评估网络性能。在全部的 Crack500 数据集上训练网 络 参 数 ，然后应用 于现实场景的图像和 视频的道路裂缝检测 。 Crackdeep 是在DeepLabV3+网络的基础上改进，网络在参数量少量提升的情况下，可以显著提高网络分割性能。本文的主要工作内容与主要结论如下：（1）提出了基于 DeepLabV3+语义分割网络对结构损伤检测。结构损伤包括裂缝、外露钢筋和剥落。在 Cityscapes 数据集训练学习得到预训练权重，减少随机初始化带来的 不 确 定 性 防 止 陷 入 局 部 最 优 。 DeepLabV3+ 在 裂 缝 和 外 露 钢 筋 的 损 伤 检 测 中 将MobileNetV2 作为主干网络，在裂缝和外露钢筋测试集上交并比分别为 54.35%和44.16%。而 DeepLabV3+在剥落的损伤检测中 MobileNetV3 作为主干网络，在剥落的测试集上的交并比为 89.88%。检测结果表明 DeepLabV3+可以有效地损伤检测。（2）提出了基于 DeepLabV3+语义分割网络对结构构件和损伤程度的整体评估。建筑结构构件包括墙、梁、柱、窗框、窗格、阳台和楼板七类，建筑构件的损伤程度，包括无损伤、轻度损伤、中度损伤和严重损伤四类。在建筑结构构件检测中， MobileNetV2作为 DeepLabV3+的主干网络，在结构构件测试集上平均交并比为 98.49 %。而在建筑构件损伤程度的检测中，将 MobileNetV3 作为 DeepLabV3+主干网络，在损伤程度评估的测试集上的平均交并比为 56.94%。检测结果表明 DeepLabV3+可以有效地建筑构件和损伤程度检测。通过对比分析不同影响因子，发现载入预训练、增大输入网络的图片尺寸和增大宽度因子可以有效提高网络性能，而通过数据增强对网络性能提高不明显。（3）提出了在 DeepLabV3+基础上改进的 Crackdeep 网络进行道路裂缝检测。Crackdeep 网络首先在 Pascal VOC 数据集上进行了预训练，然后在 Crack500 数据集上进行了训练、测试、评估和预测，比较了不同的网络，在验证集上裂缝的 IoU、召回率和精度分别达到了 67.3% 、81.6%和 79.3%，然后在测试集上裂缝 IoU、召回率和精度分别为 58.34%、77.87%和 71.38%，参数只有 475 万，验证了该网络具有轻量化、准确识别和精细分割裂缝的优点。还从特征图的可视化分析了 Crackdeep 的工作机制，有助于理解和设计网络。Crackdeep 网络设计时，增加更多将编码器的浅层信息传递到解码器的跳跃连接，还在解码器中增加特征金字塔模块以提取更丰富的语义信息。（4）Crackdeep 网络只在 Crack500 沥青道路数据集上训练得到最佳参数，进行复杂现实场景的道路裂缝损伤识别。复杂场景通过手机拍摄采集，包括不同的时间段、不同的天气、不同的场景、不同的道路材料以及其他的噪声效果。Crackdeep 网络在检测现实道路裂缝时，表现出高效准确的识别效果和强大的泛化能力，做到在多种场景、多种噪音的干扰下依然精准识别和精细分割道路裂缝。Crackdeep 网络不仅用来图像识别还用来裂缝的视频检测。将压缩后的道路裂缝视频输入到网络中，把视频的每一帧提取出来，通过网络精细分割后输出视频，输出的视频平均达到 28fps 并且做到高准确率和高精度的效果。
6.2 不足与展望
本文提出 Crackdeep 在 DeepLabV3+基础上改进的语义分割网络，在小量参数量提升，可以大幅度提高分割精度。Crackdeep 网络在 Crack500 数据集上训练后可以应用在现实场景的图像检测和裂缝检测，具有一定的工程意义，但是仍有部分需要改进的地方。（1）用于训练和测试的目标数据集规模不够大，场景不够复杂，标注不够精细。深度神经网络模型需要表现出更高的准确性，适用于更多的场景。一方面，非常有必要建立更大的数据集，增加工程实际检测到的目标对象的标注数据量，还需要考虑更多更为复杂更为真实的环境噪音影响，如不同的时间、多样化的场地等等。另一方面，需要高质量的注释标签，因为深度学习的模型根据注释标签进行学习，在标签中学习特征，越好的模型跟标签学得越接近，所以必须保证高质量的标签。（2）需要细化的裂缝损伤和研究其他病害特征。现在公开数据集主要是道路的裂缝数据集，本文的现实场景的损伤检测也是道路裂缝检测。还要从其他病害入手，包括剥落、外露钢筋等等当成独立病害进行检测。
参考文献 略