200支高校无人车赛队，华科为什么能赢？

在2020年第二届华为云人工智能大赛•无人车挑战杯中，“华中科技大学无人车一队”借助华为云一站式AI开发与管理平台ModelArts及HiLens端云协同AI开发应用平台，进行无人车模型开发与部署，最终夺冠，获得20万奖励（10万现金+10万代金券）。战队撰文分享其参赛体验，包括无人车比赛的整体方案，多维数据处理及行驶控制的能力等。

比赛背景

第二届华为云无人车挑战杯大赛，相比第一届大赛，难度更大，赛道环境更加接近真实的道路。在比赛中，无人车需要从发车区出发，通过车道线循迹沿“8”字形赛道在不能压线和触碰挡板的条件下行走一周半后，准确地停入到停车区。

整体方案

ModelArts模型训练

ModelArts是面向AI开发者的一站式开发平台，包含数据处理、模型训练、模型管理、模型部署等操作，并且提供AI市场功能，能够在市场内与其他开发者分享模型，其功能总览如图3‑1所示。在比赛中，我们通过ModelArts平台完成了数据标注、模型训练和模型在线转换等工作，并且通过ModelArts做模型的线上部署，检验模型的精度效果。

3.1.任务分析

3.2.数据标注

3.3.数据增强

图3‑4 数据扩充方法级联方式

3.4.模型训练

HiLens技能开发和模型部署

图4‑1 华为HiLens端云协同AI开发应用平台

4.1.检测任务的Skill开发

对于6类目标我们分别采用不同的置信度阈值做筛选，交通灯和斑马线需要在较远的距离就识别到，置信度阈值我们设置为0.5，而限速/解限速，为确保检测正确性，置信度设置为0.9。

对于红绿灯和限速/解限速，通过计算目标框中图像的红色分量值，来纠正检测的错误，例如，当检测到红灯，必须红色分量值大于0.15，才认为正确，否则视为错误。对于检测到绿灯或黄灯，必须红色分量小于0.1，才认为正确。

同理，对于斑马线的检测，将目标框图像二值化，白色像素占比大于0.3，才认为检测正确。

4.2.HiLens的通信

图4‑5 Socket网络通信框架

ROS无人车决策控制

无人车上由车上的工控机完成各项数据的处理和融合，进行无人车的决策控制。通过处理激光雷达的点云数据，做Slam建图和运行中的实时定位以及挡板区的循迹，处理USB摄像头的采集的车道线数据，做车道线的识别，通过Socket通信接收来自HiLens kit的目标检测的结果。如图5‑1所示，无人车的控制方案主要包括：车道线循迹、挡板区循迹、斑马线停车及避障、限速和解限速、发车和停车、建图和定位，通过ROS整合各个节点的消息，将多种数据进行多模态融合，进行无人车控制状态机的切换，给驱动控制发送不同的速度和方向指令，驱动控制将速度和方向信息转为无人车底盘的电机速度和舵机打角指令，通过串口发送给无人车驱动，最终实现无人车完美高效地完成整个比赛任务。

5.1.车道线识别

车道线识别的流程如图5‑2所示，首先将图像二值化，通过膨胀与腐蚀，将车道线线条的断裂给补上，小车在运行中，车道线总是会交于图像的左、右、下三条边，所以在这三条边上搜索车道线基本点，根据搜索到的基本点搜索线。由于摄像头固定，采用提前标定好的透视变换矩阵将图像变换到俯视图。由于在搜索车道线基本点可能会搜索到多个，例如图5‑3搜索到3个基本点，从而会搜到多条边线，所以需要对边线进行筛选，提取车道线。将车道线做一次拟合，由于道路宽度固定，可以通过拟合的车道线计算出中线。根据中线的计算结果，即可求解偏差。在图像计算中，通过采用python的numpy矩阵操作代替大量python低速循环进行计算加速，精简计算流程，（640，480）的图像在工控机计算帧率平均可达到46fps。

图5‑2 车道线识别基本流程

5.2.激光雷达挡板区循迹与无人车定位

无人车上的激光雷达传感器可扫描到无人车周围360度的障碍物的信息，可以用来做挡板区的循迹和无人车的实时定位。雷达数据的可视化展示如图5‑4（a）所示，雷达的点云数据组成了无人车行驶的车道，可采用和车道线相似的处理办法，搜索雷达右半部分0-75度的范围，拟合右边线，从而计算中线，求取偏差。具体处理过程可参考车道线处理方案，此处不再赘述。

5.3.多模态融合的无人车决策控制

采用长度为k的定长队列做为观察窗口

选取k个元素中出现最多类别作为当前阶段预测类别

联合使用ModelArts和HiLens体验

华为HiLens AI AI开发平台ModelArts

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。