計算機視覺界的頂級競賽之一MS COCO 2018年結果最新出爐，在實例分割、全景分割、人體關鍵點檢測、DensePose以及今年最新的街景檢測和分割任務中，全部6項冠軍均由中國團隊包攬。其中，曠視獲得了4項冠軍（含1項并列第一），來自北郵和滴滴的團隊分別獲得1項冠軍。微軟亞洲研究院獲得1項亞軍，北京大學和360組成的團隊也獲得了1項亞軍。

2018年最受關注的計算機視覺挑戰賽是什么？

COCO！

MS COCO的全稱是常見物體圖像識別（Microsoft Common Objects in Context），起源于是微軟于2014年出資標注的Microsoft COCO數據集，同名競賽與此前著名的ImageNet 競賽一樣，被視為是計算機視覺領域最受關注和最權威的比賽之一。

而在ImageNet競賽停辦后，COCO競賽就成為是當前物體識別、檢測等領域的一個最權威、最重要的標桿，也是目前該領域在國際上唯一能匯集Google、微軟、Facebook以及國內外眾多頂尖院校和優秀創新企業共同參與的大賽。

剛剛，ECCV官網上發布了2018年最新COCO競賽的結果：

在物體檢測、全景分割、人體關鍵點檢測、DensePose以及2018年最新提出的Mapillary街景檢測（Mapillary Detction）和街景全景分割（Mapillary Panoptic）6項任務中，中國的團隊包攬了所有的冠軍！

根據ECCV COCO Workshop的日程表，我們可以發現：

曠視團隊（Megvii）獲得了4項冠軍：實例分割（并列第一）、全景分割、人體關鍵點檢測，以及Mapillary街景全景分割；

北京郵電大學自動化學院模式識別與測控技術實驗室（BUTP-PRIV）獲得了DensePose任務的冠軍；

滴滴團隊（DiDi Map Vision）獲得了Mapillary街景檢測冠軍。

不僅如此，其他中國團隊也斬獲了出色的結果：

微軟亞洲研究院團隊（MSRA）獲得了人體關鍵點檢測亞軍；

北京大學和360組成的團隊（PKU_360）獲得了全景分割任務的亞軍。

MS COCO 2018，當之無愧是中國計算機視覺團隊稱霸的一年！

COCO挑戰賽：ImageNet 后最權威的計算機視覺衡量標桿

今年的COCO競賽與ECCV 2018一同舉辦，而且新增了兩項街景識別的新任務——Mapillary Vistas，這是是新近推出的街景集圖像數據集，專注于圖像的高階語義理解，推動自動駕駛和機器人導航等領域的技術落地。在數據集和應用任務方面，兩者有很多不同，而后者對前者起補足作用。通常來講，COCO 是自然場景下的物體識別，Mapillary 則聚焦于街景場景識別，因此聯合挑戰賽的形式有利于計算機視覺技術更貼近現實場景，更具應用價值。

COCO是一個旨在促進目標檢測研究的圖像數據集，重點關注檢測上下文中的目標。COCO的注釋包括80個類別對象的實例分割，91個類別的物品分割，人物實例的關鍵點檢測，以及每個圖像都有5個圖像標題（image captions）。

自 2015 年首屆挑戰賽以來，COCO 賽項數量不斷更新，評估標準也更加復雜；COCO 2018 相較往年又有改變。在檢測方面，實例分割近年在 COCO 上大為流行，今年，COCO 和 Mapillary 都有此賽項；隨著檢測技術走向飽和，COCO 去掉了邊界框檢測這一賽項，但成績依然出現在榜單上。

另外一個變動是新增了 DensePose和 Panoptic Segmentation 兩個賽項。Panoptic Segmentation 同時解決一張圖像上前景物體與背景物體的分類問題，把互為分裂的語義分割和實例分割整合為一，推動分割技術步入新境界，不斷逼近現實應用。COCO 和 Mapillary 也都有此賽項。

COCO 2018挑戰賽的具體任務包括：(1)利用分割掩模進行目標檢測（實例分割），(2)全景分割，(3) 人體關鍵點檢測，(4)DensePose。

1、COCO實例分割任務

COCO目標檢測任務（Object Detection Task）旨在推動目標檢測領域的先進技術。COCO 2018挑戰中只出現具有對象分割輸出的檢測任務。

隨著近年來物體檢測技術已經成熟，COCO不再以邊界框檢測任務為主。雖然leaderboard仍保持開放，但邊界框檢測任務不是workshop challenge；相反，競賽鼓勵研究人員專注于更具挑戰性和視覺信息的實例分割任務。

2、COCO全景分割任務

COCO全景分割任務（Panoptic Segmentation Task）的目標是推進場景分割的最新技術水平。全景分割需處理物體類和事件類，統一了兩種典型的語義和實例分割任務。“全景”（panoptic）的定義是指“包括一個視圖中可見的所有內容”，即一個統一的、全局的分割視圖。

3、COCO 人體關鍵點檢測任務

COCO 人體關鍵點檢測任務需要在具有挑戰性、不受控制的條件下定位人物的關鍵點（person keypoints）。關鍵點檢測任務涉及同時檢測并定位人物的關鍵點（在測試時沒有給出人的位置）。

4、COCODensePose任務

COCO DensePose任務需要在具有挑戰性，不受控制的條件下定位密集的人物關鍵點。DensePose任務涉及同時檢測和定位人的密集關鍵點，將所有人物像素映射到人體的3D表面。

Mapillary Vistas挑戰賽：2018年新加入的自動駕駛類任務

隨著計算機視覺技術的不斷進步，今年，Mapillary Research也加入了COCO競賽，并提供了Mapillary Vistas數據集。Vistas是一個多樣化的、像素精確的街道級圖像數據集，用于在全球范圍內增強自動駕駛能力。

Mapillary Vistas 數據集的設計和收集涵蓋了外觀的多樣性、注釋細節的豐富性和廣闊的地理范圍。相關競賽的難點和要點在于把互為分裂的語義分割和實例分割整合為一，推動分割技術步入新境界，不斷逼近現實應用。

Mapillary Challenges基于公開的Vistas Research數據集，其特點是：

28個stuff類，37個thing類，以及1個void類

25K高分辨率圖像

地理范圍覆蓋全球，包括北美和南美、歐洲、非洲、亞洲和大洋洲

非常多樣的天氣條件（陽光、雨、雪、霧、霧）和捕獲時間（黎明、白天、黃昏、夜晚）

廣泛的相機傳感器，不同的焦距，圖像寬高比和不同類型的相機噪音

不同的捕捉視角（道路、人行道、公路外）

基于Mapillary Vistas數據集的競賽任務包括：(1)目標檢測和分割掩碼（實例分割）；(2)全景分割（panoptic segmentation），分別對應COCO的檢測和全景分割任務。

1、Mapillary Vistas目標檢測任務

Mapillary Vistas目標檢測任務強調識別靜態的街道圖像對象（如路燈、路標，電線桿）的個體實例，以及動態的街道參與者（如汽車、行人、騎自行車的人）。這項任務旨在推動最先進的實例分割，針對汽車或運輸機器人等自動駕駛應用的關鍵感知任務。

2、Mapillary Vistas全景分割任務

Mapillary Vistas Panoptic分割任務針對街景圖像中的完整感知區域。全景分割需要同時處理stuff 類和thing類，統一了典型的不同語義和實例分割任務。

COCO 2017競賽結果：中國團隊刷榜，超越谷歌、Facebook

回過頭去看2017年的COCO 競賽的結果，當時是在ICCV 2017 “Joint COCO and Places Recognition Challenge Workshop” 公布。

當時，微軟、Facebook、谷歌、商湯、曠視等企業，以及卡內基梅隆大學、北京大學、香港中文大學、上海交通大學等高校紛紛參與，競爭激烈。

在側重對物體的理解的傳統4大任務中：

物體檢測（邊界框 BBox）：曠視研究院團隊第一，港中文&北大團隊 UCenter 第二，微軟亞洲研究院（MSRA）團隊與來自 FAIR 的團隊分別獲得第三、第四

語義分割（Segmentation）：港中文&北大團隊 UCenter 第一，曠視研究院團隊第二，FAIR 和MSRA 分別獲得第三、第四

人體關鍵點檢測：曠視研究院第一，北航&商湯團隊 OKS 第二

背景語義分割（Stuff Challenge）：FAIR 團隊第一，牛津視覺實驗室第二

2017年的COCO 還聯合舉辦了 Places 2017 這項側重對場景理解的挑戰賽，分為3個子任務：

Places 分為場景分割、物體分割和邊緣檢測三項任務。其中，物體分割（Instance Segmentation）任務，曠視擊敗了谷歌，贏得了冠軍。

根據 Workshop 官方介紹，在 Places 環節受邀發表演講的是來自谷歌（G-RMI）、今日頭條（WinterIsComing，ByteDance）和中科院自動化所與京東合作的團隊（CASIA_IVA_JD）。這無疑是后兩個團隊在 Places 2017 競賽中取得好成績的證明。