“智能交通視頻分析界的ImageNet競賽”——英偉達城市挑戰賽落下帷幕。新加坡松下研究院聯合中科院自動化所，提出了一種雙模態動靜聯合檢測方案，在交通異常檢測比賽中拔得頭籌，獲得了很高檢測準確度的同時保持了極低的檢測時間誤差。由于提出的方案具有準確度高，魯棒性強，對數據的分辨率敏感度低等優點，可以作為真實場景下的異常檢測的一種可靠的解決方案。

2020年，全球將有十億個攝像頭。未來，智能視頻分析可以解決交通、公共安全、預防犯罪、高效資源利用等一些城市規模問題，改善大型公共和私人空間（比如商場、體育館、火車站、機場等）的用戶體驗。

雖然目前存在一些用于視頻檢索的語料庫和基準（例如，NIST TRECVID），但對于交通或公共安全來說，還缺少大規模帶標記的高質量視頻數據的語料庫，而要將視頻分析應用在現實世界問題中，這樣的數據庫必不可少。

英偉達 AI City 挑戰賽正是在這樣的背景下提出，受 ImageNet 數據集啟發，AI City 競賽旨在創建優質視頻數據集，使全球的學術和工業研究團隊能夠推動各種智能視頻分析的最新技術，解決現實世界的問題。

AI City 挑戰賽由英偉達聯合紐約州立大學奧爾巴尼分校、愛荷華州立大學、圣何塞州立大學、華盛頓大學發起，吸引了來自華盛頓大學、UIUC、北京大學、IBM等全球多所高校和機構的參與。

競賽從 2018 年 1 月 20 日開始，4 月 5 日結束，一共有三項任務（track）。最開始有 70 多支隊伍報名，但由于問題很難、時間很緊等種種原因，最終 22 支隊伍提交了方案。在CVPR 2018上，主辦方公布了結果[2]。

其中，華盛頓大學取得了任務 1 和任務 3 的冠軍，而任務 2 交通異常檢測的冠軍，則由新加坡松下研究院申省梅團隊，聯合中科院自動化所獲得。任務 2 的亞軍，是北京郵電大學的團隊。

AI City 競賽：智能交通視頻分析的ImageNet

去年，第一屆 AI City 挑戰賽，重點是對岔路口交通攝像頭視頻語料庫進行對象檢測、定位和分類。今年第二屆 AIC18，組織者決定“跳出邊界框”，向更加接近現實世界問題的場景靠攏。

比如說，美國的道路交通管理局，急需能夠自動分析交通視頻內容的系統，因為讓人類來觀看所有這些視頻是不現實的；實際上，現在很多攝像頭采集的大量數據都被浪費了，沒有得到有效利用。

在與多個交通運輸機構以及公共安全機構磋商后，競賽組織者將重點放在三項任務上：

估計交通流量特征，例如在任何時間每輛可見車輛的精確位置和速度。

利用無監督的方法來檢測由碰撞、停車等引起的異常情況。這可以讓人也加入到決策的過程中來，注意到有意義的視覺信息，以便及時干預可以被挽救的生命。

城市環境中多攝像機跟蹤和對象重識別。這對交通分析以及識別和預防犯罪非常有用，也能使用戶盡可能快地對正在發生中的事件做出反應。

競賽的數據從美國多個城市和州挑選交叉路口和高速公路的數據（見下圖）收集而來。他們專門組建了一組作為對照組的車隊，并使用這些車輛產生的數據來生成Ground Truth。

AIC18數據集：從愛荷華州和硅谷高速路上獲取的數據樣本

交通異常檢測：問題定義難、數據匱乏，算法設計難度高

交通事故的異常檢測在安全城市中扮演著非常關鍵的角色，交通的異常狀況會大大降低交通通行效率，因此需要對其進行檢測和監控，如果發生異常就進行報警和救援，盡快排出由事件帶來的交通不便，恢復正常的交通。

傳統的的交通異常檢測方法，主要有電磁感應環形線圈式和波式，它們均是基于車輛經過時利用反射波的頻率變化來檢測車輛信息。但使用“磁”與“波”檢測的方法均不能提供全面的交通信息，因此有很大的局限性。

基于視頻的交通異常檢測，是應用攝像機等視覺傳感器和以計算機視覺理論為基礎，依靠交通流動的信息（比如光流）和跟蹤單個車輛去檢測異常，比如用物體跟蹤的方法去識別異常的行為[3]。

但是，獲取的車輛軌跡由于遮擋問題通常包含一定的噪音。為了克服這個問題，一些學者嘗試利用視頻中 low-level 的特征去提出一種基于概率模型的異常檢測框架進行判斷[4][5]。

實際場景中的交通異常行為存在定義困難，無法獲取異常的先驗的信息，同時存在攝像機視角的變化，高密度車流，目標遮擋，天氣情況（比如下雪天氣），光照的變化（比如白天和黑夜），采集數據分辨率低和真實場景數據匱乏等因素的影響，設計一套魯棒性強的異常檢測系統面臨著巨大的挑戰。

冠軍技術分享：首創雙模態動靜聯合檢測方法

任務2 的視頻是以各種視角、在不同天氣和道路狀況下記錄下的真實交通視頻。 這些問題讓設計異常檢測的方法變得十分困難。因此，大多數成功的方法都基于交通運動流分析（例如，使用光流），而不是試圖檢測和跟蹤各個車輛。

冠軍團隊提出的方案叫做“雙模型車輛動態學習”（Dual-Mode Vehicle Motion Pattern Learning）[1]。比賽負責人、論文第一作者徐炎向新智元介紹，在交通異常檢測的任務中，他們是首次提出以雙模態動靜態聯合檢測的方法去解決這個問題。

“我們充分挖掘了交通異常檢測的特性，即異常車輛的速度有明顯的變化和車輛會被迫停止。基于這兩個特性，我們分別提出了動靜態兩種模態進行分析。”

動態方案的結果。上圖顯示了正常時的速度，下圖則是發生異常的情況。在下排右邊的圖表中，可以看見一輛車的速度與其他不同，最后停下來。

“在動態方案中，我們首先對行駛車輛進行檢測，基于可靠光流信息對各個車輛進行追蹤。同時，我們設計了一種簡單有效的基于近鄰規則的噪點去除方法，去解決跟蹤過程中車輛的遮擋問題。獲取得到比較魯棒的車輛軌跡后，通過計算不同車輛的相對速度大小及其變化趨勢，我們可以很精準的找到異常車輛。

“在靜態方案中，我們首先對視頻進行背景建模，提取背景圖片。同時，異常的車輛也會被保留在背景圖片中。我們訓練了一個只包含背景和車輛二分類器，有效地去除背景圖片進行車輛檢測過程中出現的 false positive 結果。

“最后，我們提出了一種基于vehicle re-identification方案，對兩種模態進行整合，極大地提高了整個檢測系統的準確度。相比其他的方案，我們提出的雙模態動靜聯合檢測方案有準確度高，魯棒性強，對數據的分辨率敏感度低等優點。”

基于靜態車輛分析檢測道路異常的流程圖

總結：數據、數據、數據

徐炎表示，他們對這次比賽投入了很大的精力，從一開始熟悉比賽規則、數據下載分析、任務問題的定義、中間的不同算法設計、快速實驗驗證、失敗結果分析，到最后的多模型融合、提交實驗結果，“每一個步驟我們都去做到最好”。

其中，花費精力最多的一個步驟是算法設計及快速驗證。團隊當時嘗試提出了好幾種不同的解決方案，通過快速的實驗驗證方法，最后只選取了兩個方案（雙模態分析）用于提交結果。

當時有一個方案是嘗試用 supervised 的方法去做，去收集一些數據，對數據進行標注，最后用于訓練。但實驗結果差強人意，原因是收集的數據量太小，而且與測試數據差異明顯，經過快速的實驗驗證后，團隊最后放棄了這個方案。

由于異常場景定義困難，訓練數據缺乏，導致監控場景下的異常檢測是一個非常挑戰性的任務。這一次松下申省梅團隊基于對測試數據的分析，挖掘了其中特性，針對性地設計出了有效的規則，使得在測試數據集上獲得非常好的效果。

“通過對失敗結果的觀察，我們設計的模型會漏檢極其小的異常車輛，或者會把背景錯檢成車輛，”徐炎說：“原因是我們采用的車輛檢測模型在小型車輛上表現不佳，并且訓練檢測模型的數據和最終測試的數據分布不一致，所以提高檢測型的性能是未來工作的一個方向。”

“另一方面，我們的模型在已定義的兩種異常情況下（車禍和拋錨）表現很好，但是對于其他異常（比如車輛非法轉向）可能表現不佳。如果能夠獲取得到類似異常的真實數據，我們可以通過分析這些數據，掌握一些規律，用這些數據去訓練模型，當做一個有監督學習的task，會極大的提高系統的穩健性。”