多传感器信息融合技术在智能驾驶系统中的应用

多传感器信息融合技术在智能驾驶系统中的应用

随着传感器技术、信息处理技术、测量技术与计算机技术的发展，智能驾驶系统(辅助驾驶系统—无人驾驶系统)也得到了飞速的发展。消费者越来越注重驾驶的安全性与舒适性，这就要求传感器能识别在同一车道上前方行驶的汽车，并能在有障碍时提醒驾驶员或者自动改变汽车状态，以避免事故的发生。国际上各大汽车公司也都致力于这方面的研究，并开发了一系列安全驾驶系统，如碰撞报警系统(CW)、偏向报警系统(LDW)和智能巡游系统(ICC)等。国内在这些方面也有一定的研究，但与国外相比仍存在较大的差距。本文将主要讨论多传感器信息融合技术在智能驾驶系统(ITS)中的应用。

1 ICC/CW和LDW系统中存在的问题

1.1 ICC/CW系统中的误识别问题

　　ICC/CW系统中经常使用单一波束传感器。这类传感器利用非常狭窄的波束宽度测定前方的车辆，对于弯曲道路(见图1(a))，前方车辆很容易驶出传感器的测量范围，这将引起智能巡游系统误加速。如果前方车辆减速或在拐弯处另一辆汽车驶入本车道，碰撞报警系统将不能在安全停车范围内给出响应而容易产生碰撞。类似地，当弯曲度延伸时(见图1(b))，雷达系统易把邻近道路的车辆或路边的防护栏误认为是障碍而给出报警。当道路不平坦时，雷达传感器前方的道路是斜向上，小丘或土堆也可能被误认为是障碍，这些都降低了系统的稳定性。现在有一些滤波算法可以处理这些问题[6]并取得了一定效果，但不能彻底解决。

1.2 LDW系统中存在的场景识别问题

　　LDW系统中同样存在公共驾驶区场景识别问题。LDW系统依赖于一侧的摄像机(经常仅能测道路上相邻车辆的位置)，很难区分弯曲的道路和做到多样的个人驾驶模式。LDW系统利用一个前向摄像机探测车辆前方道路的地理状况，这对于远距离测量存在着精确性的问题，所有这些都影响了TLC(Time-to-Line-Crossing)测量的准确性。现常用死区识别和驾驶信息修订法进行处理，但并不能给出任何先验知识去识别故障。

2 多传感器信息融合技术在ITS系统中的应用

　　针对以上系统存在的一些问题，研究者们纷纷引入了多传感器信息融合技术，并提出了不同的融合算法。基于视觉系统的传感器可以提供大量的场景信息，其它传感器(如雷达或激光等)可以测定距离、范围等信息，对两方面的信息融合处理后能够给出更可靠的识别信息。融合技术可以采用 Beaurais 等人于1999年提出的CLARK算法(Combined Likelihood Adding Radar)[3]和Institude Neuroinformatik提出的ICDA(Integrative Coupling of Different Algorithms)[4]算法等方法实现。

2.1 传感器的选择

　　识别障碍的首要问题是传感器的选择，下面对几种传感器的优缺点进行说明(见表1)。探测障碍的最简单的方法是使用超声波传感器，它是利用向目标发射超声波脉冲，计算其往返时间来判定距离的。该方法被广泛应用于移动机器人的研究上。其优点是价格便宜，易于使用，且在10m以内能给出精确的测量。不过在ITS系统中除了上文提到的场景限制外，还有以下问题。首先因其只能在10m以内有效使用，所以并不适合ITS系统。另外超声波传感器的工作原理基于声速，即使可以使之测达100m远，但其更新频率为2Hz，而且还有可能在传输中受到其它信号的干扰，所以在CW/ICC系统中使用是不实际的。

　　视觉传感器在CW系统中使用得非常广泛。其优点是尺寸小，价格合理，在一定的宽度和视觉域内可以测定多个目标，并且可以利用测量的图像根据外形和大小对目标进行分类。但是算法复杂，处理速度慢。

　　雷达传感器在军事和航空领域已经使用了几十年。主要优点是可以鲁棒地探测到障碍而不受天气或灯光条件限制。近十年来随着尺寸及价格的降低，在汽车行业开始被使用。但是仍存在性价比的问题。

　　为了克服这些问题，利用信息融合技术提出了一些新的方法，诸如参考资料[5～6]所述的融合超声波传感器和图像传感器的信息、融合雷达与图像信息或激光与图像信息等。利用这些方法可以得到较单一传感器更为可靠的探测。

2.2 信息融合的基本原理[1]

　　所谓信息融合就是将来自多个传感器或多源的信息进行综合处理，从而得出更为准确、可靠的结论。多传感器信息融合是人类和其它生物系统中普遍存在的一种基本功能，人类本能地具有将身体上的各种功能器官(眼、耳、鼻、四肢)所探测的信息(景物、声音、气味和触觉)与先验知识进行综合的能力，以便对其周围的环境和正在发生的事件做出估计。由于人类的感官具有不同度量特征，因而可测出不同空间范围的各种物理现象，这一过程是复杂的，也是自适应的。它将各种信息(图像、声音、气味和物理形状或描述)转化成对环境的有价值的解释。

　　多传感器信息融合实际上是人对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中，各种传感器提供的信息可能具有不同的特征:时变的或者非时变的，实时的或者非实时的，模糊的或者确定的，精确的或者不完整的，相互支持的或者互补的。多传感器信息融合就像人脑综合处理信息的过程一样，它充分利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释或描述。信息融合的目标是基于各种传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。这是最佳协同作用的结果，它的最终目的是利用多个传感器共同或联合操作的优势来提高整个系统的有效性。

2.3 常用信息融合算法

　　信息融合技术涉及到多方面的理论和技术 ，如信号处理、估计理论、不确定性理论、模式识别、最优化技术、神经网络和人工智能等。由不同的应用要求形成的各种方法都是融合方法的一个子集。表2归纳了一些常用的信息融合方法。

2.4 智能驾驶系统中信息融合算法的基本结构

　　由于单一传感器的局限性，现在ITS系统中多使用一组传感器探测不同视点的信息，再对这些信息进行融合处理，以完成初始目标探测识别。在智能驾驶系统中识别障碍常用的算法结构如图2所示。

3 CLARK算法

　　CLARK算法是用于精确测量障碍位置和道路状况的方法，它同时使用来自距离传感器(雷达)和摄像机的信息。CLARK算法主要由以下两部分组成:①使用多传感器融合技术对障碍进行鲁棒探测；②在LOIS(Likelihood of Image Shape)道路探测算法中综合考虑上述信息，以提高远距离道路和障碍的识别性能。

3.1 用雷达探测障碍

    目前经常使用一个雷达传感器探测前方的车辆或障碍。如前面所分析，雷达虽然在直路上的性能良好，但当道路弯曲时，探测的信号将不完全可靠，有时还会有探测的盲点或产生错误报警。为了防止错误报警，常对雷达的输出进行标准卡尔曼(Kalman)滤波，但这并不能有效解决探测盲点问题。为了更可靠地解决这类问题，可以使用扫描雷达或多波束雷达，但其价格昂贵。这里选用低价的视觉传感器作为附加信息，视觉传感器经常能提供扫描雷达和多波束雷达所不能提供的信息。

3.2 在目标识别中融合视觉信息

　　CLARK算法使用视觉图像的对比度和颜色信息探测目标，使用矩形模板方法识别目标。这个模板由具有不同左右边界和底部尺寸的矩形构成，再与视觉图像对比度域匹配，选择与雷达传感器输出最接近的障碍模板。

　　CLARK算法首先对雷达信号进行卡尔曼滤波，用于剔除传感器输出的强干扰，这由下列状态和观测方程处理:

　　式中，R(t)为前方障碍的真实距离(未知)，是其速度(未知)，D(t)为距离观测值，Δt为两次观测的间隔时间，w(t)和v(t)为高斯噪声。给定D(t)，由Kalman滤波器估计R(t)和的值，并把估计值作为距离输入值，使用和D(t)的差值确定所用矩形模板的偏差。由于使用雷达探测的位置与雷达波的中心位置总有一个偏差，可通过改变道路一侧的位置作为补偿。

使用上述算法可以有效提高雷达探测的可靠性，但当图像包含很强的边缘信息或障碍只占据相平面一个很小的区域时，仍不能得到满意的结果。因此，除对比度外，又引入视觉图像的颜色域。

3.3 相合似然法

　　在探测到障碍后，CLARK算法将这些信息整合到道路探测算法(LOIS)中。LOIS利用变形道路的边缘应为图像中对比度的最大值部分且其方位应垂直于道路边缘来搜索道路。如果只是简单地将两个信息整合，则障碍探测部分的像素被隐藏，其图像梯度值不会影响LOIS的似然性。这样可以防止LOIS将汽车前方障碍的边缘误认为是道路的边缘来处理。但是当道路的真实边缘非常接近障碍的边缘时，隐藏技术则失效。

　　为了使隐藏技术有效，可以在障碍和道路探测之间采取折中的处理方法。这种折中的处理方法就是相合似然法。它将探测障碍固定的位置和尺寸参数变为可以在小范围内变化的参数。新的似然函数由LOIS的似然和探测障碍的似然融合而成。它使用七维参数探测方法(三维用于障碍，四维用于道路)，能同时给出障碍和道路预测的最好结果。其公式如下:

　　式中，Tb、Tl、Tw为相平面内矩形模板的底部位置、左边界和宽度的三个变形参数，[xr(t)，xc(t)]为变形模板相平面的中心。[yr(t)，yc(t)]为由雷达探测并经Kalman滤波的障碍在相平面的位置。将地平面压缩变换为相平面，σr2(t)为的实时估计，σc2为相平面内一个路宽的值(3.2m)。tan-1的压缩比率在相平面内不小于Tmin(路宽的一半)，不大于Tmax(路宽)。通过求解七维后验pdf P(k’，b’LEFT，b’RIGHT，vp，Tb，Tl，Tw|[yr(t)，yc(t)]，Observed Image)的最大值获得障碍和道路目标。

3.4 CLARK算法的局限性

　　CLARK算法假定障碍为矩形形状且其最小尺寸为标准路宽的一半，所以当障碍为客车、货车、拖拉机及公共汽车时满足要求；但当障碍为摩托车、自行车及行人时就不适用了。这种矩形形状的假设也要求雷达为窄波束雷达，对其它宽波束雷达、扫描雷达或多波束雷达则无效，并假定探测障碍的偏向位置总是在雷达波束的中心。

　　多传感器信息融合技术在智能驾驶系统(ITS)中的使用极大地提高了系统的稳定性和安全性，各种融合算法也都从不同方面更好地改善了系统的性能，但目前仍存在如何降低成本的问题，这对于ITS系统的普遍使用是很重要的。另外降低运算量、增强对多目标识别的可靠性也都有待进一步研究解决。