0 引言
相机由于体积小、无源(passive)、价格低廉、并提供丰富的环境信息,一直以来是计算机视觉、移
动机器人等领域应用广泛的传感器. 目前,单目相机、立体相机、RGB-D (red,green,blue+depth
map)相机、红外相机等在内的视觉传感器已经成功应用于目标跟踪、光流估计、三维重建、同时定位与
地图构建(simultaneous localization and mapping,SLAM)以及自主导航等传统机器视觉系统. 然而,在
功耗、延迟、动态范围和帧速率等方面,传统相机仍存在许多严峻挑战.
基于帧(frame-based)的视觉传感器(称为“标准相机”) 存在数据欠采样、数据冗余、数据处理延迟等
问题:1) 标准相机通常以设定帧速率对场景进行采样量化获取视觉信息,在图像帧之间会出现欠采样,
对于需要实时处理的机器视觉系统来讲,可能会因此而失效;2) 标准相机的每个图像帧记录所有像素的
强度信息,而不管该信息相对于上一时刻是否发生更改,因此获取的图像数据是高度冗余的,并且获取和
处理这样的数据量会造成高信道带宽需求、高传输功耗和高计算机内存占用等问题;3) 标准相机还存在
数据处理延迟的问题,对于高速移动的机器人系统来讲,必然会限制其控制频率. 虽然目前有专为高速、
高动态范围应用场景设计的高性能相机,但是这类相机普遍非常昂贵、笨重且需要额外的电源,这阻碍了
它们在实际系统中的应用.
相比较而言,生物视觉系统与标准相机的处理机制完全不同. 在自然界中,包括人类在内的生物视
觉系统采用异步事件驱动(asynchronous event driven),并在大规模神经网络中分层次、并行化处理信息.
这种现象激励了大量研究来理解生物感知器官和中枢神经系统之间的关系,并应用计算神经学知识来构建
更加智能的机器人视觉系统,并在 20 世纪 80 年代末催生了叫做神经形态工程学(neuromorphic
engineering)的新领域
[1]
.
在过去 20 年中,已经开发出了各种神经形态视觉传感器(neuromorphic vision sensors)
[2-3]
. 然而,
早期由于工艺完备性不足造成的电路复杂、像素面积大、噪声等级高等问题,能够实际应用的案例很少.
最近 10 年来,神经形态视觉传感器在性能和实用性方面均有很大改进,而基于事件(event-based)的视觉
传感器(称为“事件相机”) 是其中最成功的,这些传感器包括 DVS
[4-5]
、ATIS
[6-7]
、DAVIS
[8-9]
以及最近开发
的多种新型事件相机.
Delbruck 等人在 2010 年对已有的基于事件的有源驱动(activity-driven)视觉传感器硬件进行了总结
[10]
,但是该总结仅针对传感器的硬件性能,没有对应用进行探讨;Cho 等人在 2015 年对生物启发视觉传
感器的原理与应用进行了回顾
[11]
,然而所回顾的工作都是早期的,不能反映事件相机的最新进展;
Gallego 等人在 2019 年对基于事件的视觉进行了更全面的总结
[12]
,该总结还补充了一些其他的生物启发
视觉技术,但是对于基于事件的视觉应用部分叙述不够详细,而且没有提到国内的研究进展. 因此,本文
重点是对基于事件的视觉传感器的原理、发展历程、优势与挑战、最新进展等方面进行介绍,并对事件相
机所带来的计算机视觉、移动机器人等领域中的热点问题进行详细的回顾和探讨.
1 基础概述 1.1 原理
事件相机(event cameras)是一种生物启发的视觉传感器,以完全不同于标准相机的方式工作. 事件
相机不是以恒定速率输出强度图像帧,而是仅输出局部像素级亮度变化的相关信息. 这些像素级亮度变化
评论1
最新资源