本文轉自空中機器人前沿，作者西湖大學-鄭業。

一．概述

事件相機（Event-based camera）是一種受生物啟發的新型視覺傳感器，有時也稱動態視覺傳感器（DVS，dynamic visionsensor）或DAVIS（Dynamic and Active-Pixel VisionSensor）。相比于以固定幀率采集圖像的標準相機，它具有低延遲、高動態范圍、低功耗、高時間分辨率等特點。

圖1展示了事件相機和標準相機的數據采集過程，從中可看出，當物體運動時，標準相機受到采樣頻率的影響會丟失部分數據，而事件相機采集的數據則相對更加完整。另外，當目標物體與相機具有相對運動時，受到曝光時間等因素的影響，用標準相機獲得的圖像極易產生運動模糊，而用事件相機獲得的數據則沒有這個問題。

下面，我將從工作原理、常見的應用場景和數據處理范式出發，對事件相機做一個簡要介紹。

圖1. 事件相機與標準相機輸出數據對比[1]

二．事件相機的工作原理

事件相機可以簡單理解為一種“僅感知運動物體”的傳感器。在事件相機的每個像素處都有一個獨立的光電傳感模塊，當該像素處的亮度變化超過設定閾值時，就會生成、輸出事件數據（有時也稱脈沖數據）。另外，由于所有的像素都是獨立工作的，所以事件相機的數據輸出是異步的，在空間上呈現稀疏的特點。這也是事件相機與標準相機的最大不同之處，也是事件相機的核心創新。這種成像范式的好處是可以大大減少冗余數據，從而提高后處理算法的計算效率。

傳感器的工作原理通常基于一個特定的數學模型，下面我們介紹一下事件相機的數學模型。為了方便介紹，我們首先定義一些名詞和變量。設定亮度為；事件相機中的亮度定義為實際亮度的對數值，即。那么，時刻在像素處的亮度增益記為

其中，表示微小時間間隔。當亮度變化超過設定的閾值時，那么就會觸發事件，該過程表示為

其中，表示設定亮度變化閾值，通常情況下，的值設置為亮度的10%~50%；表示事件的極性，若亮度增強，則表示發生正事件，否則，表示發生負事件。最終，觸發的事件數據表示為。

圖2展示了事件觸發的效果。其中，左圖表示時間內在各像素處生成的離散數據點，藍色的點表示正事件，紅色的點表示負事件；右圖是將時間內的全部事件，按像素位置堆疊在一起，放到一張圖像上的效果。從右圖中可以看出，事件都發生在物體的邊緣。這主要是因為，當物體運動時（或相機運動時），物體的邊緣與背景有更大的亮度變化。

圖2. 事件相機工作原理[2]

三．常見應用場景及處理范式

事件相機可以完成一些基于幀的標準相機無法完成的任務，比如高速運動估計，高動態范圍建圖等等。除此之外，它還被研究用于一些傳統的視覺任務，如特征檢測與跟蹤、光流估計、3D重建和姿態估計等。

為了充分開發事件相機的性能，研究人員也開始思考能從事件數據中提取更多有效信息的方法。目前，常見的事件數據表征方法包括獨立事件、事件包、事件幀、體素柵格、3D點集等。這些事件表征方法可以被應用在事件處理系統中的各個部分，包含前處理，核心處理和后處理。

事件數據的主流處理方法可以分為兩類，分別是event-by-event的方法和group of events的方法[3]。前者可以理解為逐個事件的處理方法。這類方法常見于各種用于降低事件噪聲、提取特征和圖像重建的濾波器中。它們通過對比當前事件與過去事件完成系統狀態的更新。

另外，現在也有許多數據驅動的方法在使用逐個事件處理的方法，包括采用監督學習和無監督學習方法來訓練分類器?；趃roup of events的處理方法可以理解為累積時間內的數據進行處理。由于單個事件攜帶的信息十分有限，這種累積事件群的處理方法極大地降低了噪聲的干擾，提升了算法的可靠性。這種處理方法主要使用的數據表征方法包括事件幀，體柵格和3D點集。在基于模型的方法中，往往將事件數據累積為事件幀，然后利用基于圖像的處理方法來解決問題。另外還有一種基于數據驅動的方法，它們直接將整個事件包輸入神經網絡，目前該類方法已經廣泛應用于分類、光流估計、深度估計等任務中，并且取得了不錯的效果。

四. 小結

本文簡要地介紹了事件相機的工作原理與常見應用，同時也對事件數據的表征方式和處理方法做了說明。

最后，請欣賞事件相機鏡頭下的杭城飄雪，感受一下不一樣的景色。

審核編輯：湯梓紅