新论文|一种新型吸附式无人机检测系统

基于吸附式无人机与深度学习的

裂缝实时检测系统

Real-time crack assessment using deep neural networks with wall-climbing unmanned aerial system

Shang Jiang, Jian Zhang

COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING

论文链接：

https://onlinelibrary.wiley.com/doi/full/10.1111/mice.12519

No.1 研究背景

近年来无人机平台和计算机视觉技术越来越多地被应用到结构病害检测中，但其应用还受到几个共性问题限制：

（1）无人机在检测过程中会在三维空间内频繁移动，这造成图像的比例参数随之发生变化，拍摄时图像平面与结构表面的不平行也会带来图像的倾斜变形。此外无人机在进行桥梁检测时必须与结构表面保持一定的安全距离，导致无人机难以获取细致的裂缝图像，无法达到高精度的裂缝检测要求；

（2）传统无人机的操作要求较高，桥梁结构一般具有复杂的几何外形，在检测过程中操作人员既要控制无人机获取合适的图像信息，又要并避免发生碰撞，同时桥梁底部等环境GPS信号差，进一步增加了操作的难度；

（3）外业采集+内业处理的离线检测方式效率低，容易造成检测不全、重复检测。

No.2 研究内容

那么问题来了，该如何有效解决传统的无人机操作不易、频繁移动、精度不高的难题呢......

针对以上问题，我们课题组开发了一种新型吸附式无人机检测系统。该系统以自主研发的吸附式无人机为检测平台，检测时吸附于结构表面以采集高精度影像，同时通过无线数据传输和对移动终端进行人工智能模型移植，实现裂缝的现场实时识别与快速量化评估，大幅提高了检测效率和精度。

内容一：

吸附式无人机检测平台开发

概念设计：结合无人机和爬壁机器人两种平台的优势，既实现了高精度的裂缝检测，又降低了检测过程的操作难度和危险性。操作人员控制无人机起飞后到达桥梁待检测的位置，无人机缓慢靠近后吸附于桥梁表面开始检测。检测过程中无人机相机拍摄的表面病害视频通过无线信号实时传输到地面站的智能手机上，通过所开发的裂缝检测应用实时识别视频中的裂缝。

三维设计与受力分析：

吸附式无人机在检测过程中从起飞到吸附检测包括三种飞行状态：正常飞行状态、针对桥梁底部裂缝检测的顶部吸附状态和针对桥塔桥墩等构件的立面吸附状态。

硬件制作：

三种飞行状态：

内容二：

基于深度学习裂缝检测算法

深度学习网络SSD是一种常用的“一段式”，不需要先产生候选区域（region proposals）再分类，有着较快的检测速度。为了达到更高的检测速度和更少的模型参数数量，采用专为移动端设计的分类模型MobileNet v2代替原有SSD模型结构中的VGG-16，应用深度可分离卷积结构代替传统卷积结构形成SSDLite-MobileNet v2模型，大大减少了计算量和参数数量，提高了检测速率。

SSDLite-MobileNetV2与SSD网络结构对比

考虑到整套检测系统应该尽可能简单，采用常用的智能手机作为无人机地面站的数据接收和处理端，因此针对智能手机采用android studio开发了一套裂缝检测APP。该APP分为两个界面，界面一为裂缝识别页，该页的功能是将无人机拍摄的实时视频显示到屏幕上，同时由所训练的轻量化SSDLite-MobileNetV2模型实时处理视频；界面二为裂缝宽度测量页，对于界面一中识别为有裂缝的图片，重新导入到界面上并点选所要测量的裂缝位置即能计算该处宽度。系统的裂缝检测APP界面如下图所示。

No.3 现场测试

整套检测系统被应用于某建筑物外墙的裂缝检测中，检测过程如下图所示：

REC

结 论

课题组提出了一种基于吸附式无人机与深度学习的结构表面裂缝实时检测系统及方法，首先通过设计融合了爬壁机器人和多旋翼无人机的吸附式无人机平台实现了安全、稳定与高精度的裂缝图像采集。接着对高效、轻量化的深度学习模型展开研究，综合比较速度和精度选取了最优的网络。最后以一栋实际建筑为例验证整套系统的准确性、高效性和实用性。所设计的吸附式无人机裂缝检测将在更多的实际工程中应用，并持续优化改善，有望在将来为桥梁、建筑等结构的病害检测提供一个成本低廉、安全高效的智能检测工具。