道路是有一定使用寿命的工程结构物。道路建成后，受环境、交通荷载等因素的影响，路面的使用性能及各项设施会出现不同程度的损坏，路面使用性能的恶化，将增加车辆的运营费用，包括燃油、轮胎和保修材料的消耗以及行程时间等费用。

严重的道路损坏，甚至会影响行车的安全。因此对已建成的城市道路网、公路路网，需要及时发现公路损坏，并对公路实施经常性、周期性的养护管理，以保证路网能达到应有的服务水平，这也是各级道路管理部门的主要职责之一。

01、智能化巡检发展

随着时间的推移和设施总量的增加，我国道路养护需求呈现快速的增长趋势。再加上我国长期以来的“重建轻养”观念，导致道路养护基础十分薄弱，养护任务艰巨，大量早期修建的道路陆续进入改扩建及大中修养护阶段，养护任务逐年增加。

近年来，公路养护里程占公路总里程比例不断上升；2016年公路养护里程所占比例已达97.7%。据交通运输部统计数据显示，2019年，我国公路养护里程495.31万公里，占公路总里程98.8%，基本做到了有路必养，每一年在公路养护中的投入高达数百亿元，潜在市场巨大。

我国已经进入一个大规模道路养护时代，面临着重大的养护任务，加强道路管养已成为我国道路基础设施发展的当务之急，是推动城市精细化管理的重要措施，是我国道路安全和民生发展的重要保障。

道路巡检是道路日常管养的第一要务，但目前现有的道路巡查方式自动化、信息化、智能化水平较低。以上海为例，目前上海市市管道路巡查主要以人工巡查为主，以汽车、电瓶车为代步工具，使用平板、手机、记录表作为记录工具。

对于管养执行单位而言，以人工为主的巡查方式，巡查效率低、时效性差，同时巡查过程中人员的安全性难保障；而对于行业监管单位而言，以人工为主的巡查方式，主观性太强，其巡检有效性、巡检结果真实、完整性难保障，形成的巡检结果是非结构化数据，难以用于推动城市道路设施精细化管养。

此外，以传统高精度检测车为代表的传统路面病害检测，依赖重型检测设备，虽然能较精确地检测出路面病害，也能形成对道路养护有效的结构化数据，但成本价格较高，并且巡检速度缓慢，很难满足我国大体量中低等级道路的运维管养，大部分道路常年少检，甚至是无检，错过最佳养护时期。

图1 高精度检测车

综合来看，我国道路健康数据采集存在较为突出的“供需矛盾”。而在日常巡检中借助智能化、信息化手段，不仅可以降低成本、提高效率，也能较为精准的识别出业主方需求的路面病害识别、交通设施异常识别等，还能形成结构化数据，从而提升巡检数据的价值；同时，考虑到中国大体量的城市道路设施漏检，城市道路智能化巡检具有极大的市场空间。

02、轻量化智能化巡检产品原理

近年来随着人工智能算法的快速迭代和进步，人工智能算法应用在路面病害识别的尝试和研究也逐渐多了起来。

技术的逐渐成熟使得智能化巡检产品的应用成为可能，目前市场上已成功应用的道路智能化巡检产品还比较少，主要来自上海智能交通、中远海运、卡罗这几家公司，正在这方面布局还在研发过程中的有商汤、腾讯等大公司，大多数产品都是基于前端的视觉传感设备、边缘处理设备和人工智能算法对路面病害进行采集、传输和识别，最后在web平台或移动平台结果呈现。

图2 智能化巡检产品结构

2.1前端硬件设备

前端硬件设备主要包含车载摄像机和车载处理器，车载摄像头一般为装在巡检车顶部的云台相机用于拍摄巡检车前方画面，也有少部分产品选择工业相机拍摄巡检车后方画面，云台相机焦距大，拍摄视角大，可拍摄到多条车道的画面同时还能拍摄到路侧设施如护栏和标识标牌。工业相机则是针对单车道画面进行拍摄，画面质量更高，有利于人工智能算法识别路面病害的精准率。

车载处理器一般是工控机，利用车载电源供电，对车载摄像头拍摄到的图像进行切帧、存储。工控机中会选配4G/5G模块、WiFI模块、GPS模块等，4G/5G模块和WIFI模块用于对工控机存储的图像数据以及其他结构化数据进行传输，GPS模块用于定位路面病害位置。

车载处理器也可结合边缘计算棒或计算卡这类拥有强大算力的边缘化设备，将原本部署在云端服务器的人工智能识别算法部署到车载处理器上，实现路面病害识别的边缘化和实时化。部分智能化巡检产品还会根据业务需求添加其他硬件设备，如上海智能交通的路测宝产品通过车载振动传感器，收集巡检车在路面行驶时的振动数据，最后可计算出道路平整度IRI指数。

图3 车载摄像机和车载处理器

2.2 路面病害识别的人工智能算法

产品中应用的路面病害识别人工智能算法一般基于目前主流框架下开发的，如Tensorflow、Pytorch等，模型则一般是识别效果好同时图像推理速度较快的目标检测模型，如yolo系列模型。

人工智能算法包括训练好的深度学习模型和辅助深度学习模型的一些算法，前端硬件设备采集和传输的图片作为算法的输入，通常会使用预处理算法如图像缩放、图像增强、图像锐化等常规方法对输入图片进行预处理，图像预处理能提升后续深度学习模型识别路面病害的精度。

紧接着图像信息进入深度学习模型，深度学习模型如前文中提到的yolo系列模型，包含大量的图像卷积、池化处理，最后输出图片内的病害目标框。最后根据业务需求，还可以对深度学习模型输出的目标框进行后处理，对这些目标框再做一次筛选，常见的后处理操作有非极大值抑制（NMS）。

图4 人工智能算法流程

同时为了满足业主的需求，部分产品的人工智能算法处理识别路面病害，还能识别一些路面异常情况，如对路侧的护栏、标识标牌、路沿石等设施进行检测，或对路面抛洒物异常报警。

人工智能算法通常部署在云端服务器，服务器中配有英伟达的高性能显卡，对车载处理器传输到服务器中的路面图片进行处理和识别。如前文中提到的，人工智能算法也可部署在车载处理器上，实现边缘计算，但边缘部署的人工智能算法会受限于边缘端的算力，通常识别精度与部署在服务器端的算法相比较会有所下降。

2.3 业务平台和呈现

识别到的路面病害信息和其他巡检相关信息最终会展示在业务平台，平台通常具有以下两种功能

a. 大屏展示：使用宏观大屏展示各条道路的路面病害情况，大屏中会呈现道路网格图，路面病害会以撒点形式呈现在平台界面上，同时平台界面上还会呈现道路相关指标如道路状况指数PCI、道路平整度IRI指数等。

图5 数据平台大屏呈现

b. 业务平台：主要面向道路管养单位，对单个路面病害的细节进行呈现，将人工智能算法识别到的病害及相关属性信息如GPS定位、病害长宽等推送出来，在该平台上可完成从病害修复派单到最后病害闭合的闭环流程。

图6 业务平台呈现及派单

03、路面病害识别的人工智能算法现状

图7 路面病害识别的人工智能算法效果图

目前市场上的智能巡检产品的公司，前端硬件都是集成其他硬件厂商的产品，所以在产品硬件方面并没有很大差距，只有因为业务需求的不同而产生的硬件组成结构差异。

算法的好坏对路面病害识别精度有决定性因素，虽然人工智能模型和相关的业务算法对于使用者来说是一个黑盒，无法了解到各个公司用的是什么模型和相关的技术路线，但通过当前最新的计算机视觉方向（CV）论文和相关的目标检测比赛，可以从侧面了解到整个行业的算法发展。

目前对路面病害识别效果显著并且成熟的人工智能算法模型有Cascade-RCNN为首的RCNN系列目标检测模型和Yolov3等yolo系列目标检测模型。Global Road Damage Detection Challenge（以下简称GRDDC）是IEEE 举办的大数据比赛，从2018年开始到2020年已连续举办3届。

在GRDDC2020比赛中，获得第一名的队伍算法用的是Yolov5模型以及集成预测、模型融合等技巧，最后在测试集中取得的F1分数为0.67，而参赛前十名的大多数队伍使用的是yolo系列模型以及一些比较通用的数据增强技巧如随机剪裁、图像转换等。

可见yolov4和yolov5在路面病害识别方面有比较优秀的表现，而cascade-rcnn模型在多个目标检测比赛中都取得很好的成绩，虽然在GRDDC中表现不是最好，但也同样有使用价值。

图8 GRDDC大赛测试集成绩排名，大赛结束时（左），结束后至今（右）

GRDDC2020比赛结束后依然允许算法研究人员继续提交数据验证自己的算法性能，到现在再看一次成绩排行榜，可以发现测试集中第一名的F1分数已经达到了0.73，商汤的路面病害识别算法排到了第二名（病害识别召回率83.7%、精准率62.8%）。

比赛举办结束到现在，目标检测模型尤其是模型的主干网络（backbone）并没有重大突破，所以推测算法的提升更多的来自机器学习技巧的应用，尤其是模型融合技巧，通过多种模型的融合推理，可以显著提升模型的识别精度，但这种技巧只能用于特定数据集并且模型推理速度很慢，难以用于实际生产工作。

所以目前产品中使用的人工智能算法应该是权衡过算法运行速度以及识别精度而得出的最适合业务的算法。

04、结语

随着人工智能化进程的推进，智能化巡检产品的市场也会越来越大。目前人工智能算法在交通这个大领域还处于应用探索阶段，在不久的将来，以需求为导向的人工智能算法会逐步成熟和完善，从目前以路面病害为主的检测范围扩大到养护单位和其他业主同样关心的标识标牌损坏或遮挡、标线模糊等问题，同时随着前端硬件逐步升级，采集的图像更加精细，边缘计算算力更加强大，智能化巡检也将完全脱离人工干涉，在一定程度上完全替代传统的人工巡检模式。

作者简介：张怿坤，上海智能交通有限公司，算法工程师