搜索你想要的,找不到就帮忙一起完善吧~~

自动驾驶应用中的LED flicker问题

近年来驾驶辅助系统和自动驾驶是研究和产业界的热点问题。日本也在2016年通过立法允许电子图像系统替代传统后视镜。

在目前交通系统中,LED照明因为效率高、稳定性好对于汽车和道路标志带来了诸多改善,但同时也为基于视觉的驾驶辅助系统(如交通标志辨识、自动煞车以及夜视功能)带来了种种挑战。

LED 交通信号灯以及LED车灯的flicker消除,是当前ADAS以及自动驾驶领域对图像传感器一个重要需求。这一篇文章我们就谈一谈LED flicker。

LED flicker是指因为LED 闪烁在图像传感器上产生伪影的现象,但是从人眼的感知LED却是常亮的。

LED照明是采用脉冲调制驱动PWM(Pulse Width Modulation),简单来说LED并不是常亮,而是以一定频率在闪烁。但由于视觉的flicker fusion threshold的原因,频率高于90Hz人眼一般就不会察觉到闪烁。但是对于camera系统来说,户外通常会设置较短曝光时间(尤其是HDR场景),这样就有可能拍摄到的LED亮度明暗变化的情况。

举个例子。大街上的红绿灯,此时红灯对人眼来说是亮的,需要停下来了。但是驾驶辅助系统接收的信号却未必如此。如下图所示,在第N帧的时候,LED on和sensor曝光时间刚好同步,所以生成的图像红灯是亮的。在N+1帧的时候,由于sensor曝光时间和LED美颜同步,所以生成的图像红灯是黑的。但是对咱们人眼来说这个红灯是常亮的。

sensor的曝光时间小于LED光源调制信号‘空’时长,会出现帧和帧之间灯光时亮时灭的现象。

再举个例子。帧和帧之间灯光虽然没有关/开,但是灯的强度会在帧之间变化。如下图所示,N帧的曝光刚好抓到两个LED亮的周期,所以灯光比较亮。下一帧只抓到一个,所以暗。

sensor的曝光时间大于LED光源调制信号‘空’时长,会出现帧和帧之间灯光时亮时暗的现象。

再举个例子。当我们用rolling shutter sensor的时候,会出现banding现象。Rolling shutter是逐行曝光,再遇到LED频闪,就可能出现LED灯banding的情况。

另外现在sensor常用的多帧HDR模式,由于短曝光的时间限制,也会引入一些LED flicker的现象,如下图,短曝光的部分就会出现flicker的情况。

LED flicker给自动驾驶带来的挑战相信大家都很容易想到。那么有没有什么好的方法来解决这个问题呢?

从上面公式来看,保持LED 频闪与sensor曝光同步,并且曝光时间配合LED调制信号周期,是解决问题的关键。这是一个理想化的解决方案。现实世界是:世界各地LED规格不一,这就导致了sensor厂和自动驾驶厂商也不能统一去优化。

那有没有其他解决办法呢?答案很遗憾,虽然sensor厂做了一些努力去减小,但是目前这些方法都没有完全根除这个问题。

目前常用的一个方法是,sensor本身实现大动态范围(HDR),这样可以有更大曝光时间裕度,保证曝光时间内尽可能抓到若干个LED on周期。Sony、Onsemi现在都是这个思路。这是Sony IMX390的一个官方宣传。

(注: 欧盟已经制定并执行了包含交通信号灯flicker要求的标准EN12966,所以现在的sensor厂商很多都是在基于这一标准在设计flickering mitigation的解决方案)

                                                              —–本文转载自微信公众号《大话成像》,知乎专栏《all in camera》

发表回复

您的电子邮件地址不会被公开。必填字段标记 *

你可以使用这些HTML标签和属性 <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>