色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度學習在計算機視覺領域的瓶頸已至

悟空智能科技 ? 來源:lq ? 2019-02-18 14:52 ? 次閱讀

一片欣欣向榮背后,深度學習計算機視覺領域的瓶頸已至。提出這個觀點的,不是外人,正是計算機視覺奠基者之一,約翰霍普金斯大學教授Alan Yuille,他還是霍金的弟子。

他說,現在做AI不提神經網絡,成果都很難發表了,這不是個好勢頭。

如果人們只追神經網絡的潮流,拋棄所有老方法;如果人們只會刷榜,不去想怎樣應對深度網絡的局限性,這個領域可能很難有更好的發展。

面對深度學習的三大瓶頸,Yuille教授給出兩條應對之道:靠組合模型培養泛化能力,用組合數據測試潛在的故障。

觀點發表之后,引發不少的共鳴。Reddit話題熱度快速超過200,學界業界的AI科學家們也紛紛在Twitter上轉發。

Reddit網友評論道,以Yuille教授的背景,他比別人更清楚在深度學習在計算機視覺領域現狀如何,為什么出現瓶頸。

深度學習的三大瓶頸

Yuille指出,深度學習雖然優于其他技術,但它不是通用的,經過數年的發展,它的瓶頸已經凸顯出來,主要有三個:

需要大量標注數據

深度學習能夠實現的前提是大量經過標注的數據,這使得計算機視覺領域的研究人員傾向于在數據資源豐富的領域搞研究,而不是去重要的領域搞研究。

雖然有一些方法可以減少對數據的依賴,比如遷移學習、少樣本學習、無監督學習和弱監督學習。但是到目前為止,它們的性能還沒法與監督學習相比。

過度擬合基準數據

深度神經網絡在基準數據集上表現很好,但在數據集之外的真實世界圖像上,效果就差強人意了。比如下圖就是一個失敗案例。

一個用ImageNet訓練來識別沙發的深度神經網絡,如果沙發擺放角度特殊一點,就認不出來了。這是因為,有些角度在ImageNet數據集里很少見。

在實際的應用中, 如果深度網絡有偏差,將會帶來非常嚴重的后果。

要知道,用來訓練自動駕駛系統的數據集中,基本上從來沒有坐在路中間的嬰兒。

對圖像變化過度敏感

深度神經網絡對標準的對抗性攻擊很敏感,這些攻擊會對圖像造成人類難以察覺的變化,但可能會改變神經網絡對一個物體的認知。

而且,神經網絡對場景的變化也過于敏感。比如下面的這張圖,在猴子圖片上放了吉他等物體,神經網絡就將猴子識別成了人類,吉他識別成了鳥類。

背后的原因是,與猴子相比,人類更有可能攜帶吉他,與吉他相比,鳥類更容易出現在叢林中。

這種對場景的過度敏感,原因在于數據集的限制。

對于任何一個目標對象,數據集中只有有限數量的場景。在實際的應用中,神經網絡會明顯偏向這些場景。

對于像深度神經網絡這樣數據驅動的方法來說,很難捕捉到各種各樣的場景,以及各種各樣的干擾因素。

想讓深度神經網絡處理所有的問題,似乎需要一個無窮大的數據集,這就給訓練和測試數據集帶來了巨大的挑戰。

為什么數據集會不夠大?

這三大問題,還殺不死深度學習,但它們都是需要警惕的信號

Yuille說,瓶頸背后的原因,就是一個叫做“組合爆炸”的概念:

就說視覺領域,真實世界的圖像,從組合學觀點來看太大量了。任何一個數據集,不管多大,都很難表達出現實的復雜程度。

那么,組合學意義上的大,是個什么概念?

大家想象一下,現在要搭建一個視覺場景:你有一本物體字典,要從字典里選出各種各樣的物體,把它們放到不同的位置上。

說起來容易,但每個人選擇物體、擺放物體的方法都不一樣,搭出的場景數量是可以指數增長的。

就算只有一個物體,場景還是能指數增長。因為,它可以用千奇百怪的方式被遮擋;物體所在的背景也有無窮多種。

人類的話,能夠自然而然適應背景的變化;但深度神經網絡對變化就比較敏感了,也更容易出錯:

△是的,前面出現過了

也不是所有視覺任務都會發生組合爆炸(Combinatorial Explosion) 。

比如,醫學影像就很適合用深度網絡來處理,因為背景少有變化:比如,胰腺通常都會靠近十二指腸。

但這樣的應用并不常見,復雜多變的情況在現實中更普遍。如果沒有指數意義上的大數據集,就很難模擬真實情況。

而在有限的數據集上訓練/測試出來的模型,會缺乏現實意義:因為數據集不夠大,代表不了真實的數據分布。

那么,就有兩個新問題需要重視:

1、怎樣在有限的數據集里訓練,才能讓AI在復雜的真實世界里也有很好的表現?

2、怎樣在有限的數據集里,高效地給算法做測試,才能保證它們承受得了現實里大量數據的考驗?

組合爆炸如何應對?

數據集是不會指數型長大的,所以要試試從別的地方突破。

可以訓練一個組合模型,培養泛化能力。也可以用組合數據來測試模型,找出容易發生的故障。

總之,組合是關鍵。

訓練組合模型

組合性 (Compositionality) 是指,一個復雜的表達,它的意義可以通過各個組成部分的意義來決定。

這里,一個重要的假設就是,一個結構是由許多更加基本的子結構,分層組成的;背后有一些語法規則。

這就表示,AI可以從有限的數據里,學會那些子結構和語法,再泛化到各種各樣的情景里。

與深度網絡不同,組合模型 (Compositional Models) 需要結構化的表示方式,才能讓結構和子結構更明確。

組合模型的推斷能力,可以延伸到AI見過的數據之外:推理、干預、診斷,以及基于現有知識結構去回答不同的問題。

引用Stuart German的一句話:

The world is compositional or God exists.

世界是組合性的,不然,上帝就是存在的。

雖然,深度神經網絡也有些組合性:高級特征是由低級特征的響應組成的;但在本文所討論的意義上,深度神經網絡并不是組合性的。

組合模型的優點已經在許多視覺任務里面體現了:比如2017年登上Science的、用來識別CAPTCHA驗證碼的模型。

還有一些理論上的優點,比如可解釋,以及可以生成樣本。這樣一來,研究人員就更加容易發現錯誤在哪,而不像深度神經網絡是個黑盒,誰也不知道里面發生了什么。

但要學習組合模型,并不容易。因為這里需要學習所有的組成部分和語法;

還有,如果要通過合成 (Synthesis) 來作分析,就需要有生成模型(Generative Models) 來生成物體和場景結構。

就說圖像識別,除了人臉、字母等等少數幾種很有規律的圖案之外,其他物體還很難應付:

從根本上說,要解決組合爆炸的問題,就要學習3D世界的因果模型(Causal Models) ,以及這些模型是如何生成圖像的。

有關人類嬰兒的研究顯示,他們是通過搭建因果模型來學習的,而這些模型可以預測他們生活環境的結構。

對因果關系的理解,可以把從有限數據里學到的知識,有效擴展到新場景里去。

在組合數據里測試模型

訓練過后,該測試了。

前面說過,世界那么復雜,而我們只能在有限的數據上測試算法。

要處理組合數據 (Combinatorial Data) ,博弈論是一種重要的方法:它專注于最壞情況(Worst Case) ,而不是平均情況 (Average Case) 。

就像前面討論過的那樣,如果數據集沒有覆蓋到問題的組合復雜性,用平均情況討論出的結果可能缺乏現實意義。

而關注最壞情況,在許多場景下都是有意義的:比如自動駕駛汽車的算法,比如癌癥診斷的算法。因為在這些場景下,算法故障可能帶來嚴重的后果。

如果,能在低維空間里捕捉到故障模式 (Failure Modes) ,比如立體視覺的危險因子 (Hazard Factors) ,就能用圖形和網格搜索來研究這些故障。

但是對于大多數視覺任務,特別是那些涉及組合數據的任務,通常不會有能找出幾個危險因子、隔離出來單獨研究的簡單情況。

△對抗攻擊:稍稍改變紋理,只影響AI識別,不影響人類

有種策略,是把標準對抗攻擊(Adversarial Attacks) 的概念擴展到包含非局部結構(Non-Local Structure) ,支持讓圖像或場景發生變化的復雜運算,比如遮擋,比如改變物體表面的物理性質,但不要對人類的認知造成重大改變。

把這樣的方法應用到視覺算法上,還是很有挑戰性的。

不過,如果算法是用組合性(Compositional) 的思路來寫,清晰的結構可能會給算法故障檢測帶來很大的幫助。

關于Alan Yuille

Alan Yuille,目前就職于約翰霍普金斯大學,是認知科學和計算機科學的杰出教授。

1976年,在劍橋大學數學專業獲得學士學位。之后師從霍金,在1981年獲得理論物理博士學位。

畢業之后,轉而開拓計算機視覺領域。并先后就職于麻省理工學院的人工智能實驗室,哈佛大學計算機系等等學術機構。

2002年加入UCLA,之后擔任視覺識別與機器學習中心主任,同時也在心理學系,計算機系,精神病學和生物行為學系任客座教授。

2016年,加入約翰霍普金斯大學。

他曾獲得ICCV的最佳論文獎,2012年,擔任計算機視覺頂級會議CVPR的主席,計算機視覺界的奠基人之一。

此外,Alan Yuille也直接影響了中國AI的發展,其嫡系弟子朱瓏博士學成后,回國創辦了AI公司依圖科技,現在也是中國CV領域最知名的創業公司之一。

這篇文章中的觀點,出自Yuille在2018年5月發表的一篇論文,共同作者是他的博士生Chenxi Liu,在今年一月份,他們對這篇論文進行了更新。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4779

    瀏覽量

    101036
  • 計算機視覺
    +關注

    關注

    8

    文章

    1700

    瀏覽量

    46074
  • 深度學習
    +關注

    關注

    73

    文章

    5512

    瀏覽量

    121407

原文標題:三大瓶頸扼住深度學習咽喉

文章出處:【微信號:WUKOOAI,微信公眾號:悟空智能科技】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    【小白入門必看】一文讀懂深度學習計算機視覺技術及學習路線

    一、什么是計算機視覺計算機視覺,其實就是教機器怎么像我們人一樣,用攝像頭看看周圍的世界,然后理解它。比如說,它能認出這是個蘋果,或者那邊有輛車。除此之外,還能把拍到的照片或者視頻轉換
    的頭像 發表于 10-31 17:00 ?514次閱讀
    【小白入門必看】一文讀懂<b class='flag-5'>深度</b><b class='flag-5'>學習</b><b class='flag-5'>計算機</b><b class='flag-5'>視覺</b>技術及<b class='flag-5'>學習</b>路線

    計算機視覺有哪些優缺點

    計算機視覺作為人工智能領域的一個重要分支,旨在使計算機能夠像人類一樣理解和解釋圖像和視頻中的信息。這一技術的發展不僅推動了多個行業的變革,也帶來了諸多優勢,但同時也伴隨著一些挑戰和局限
    的頭像 發表于 08-14 09:49 ?1099次閱讀

    機器視覺計算機視覺有什么區別

    機器視覺計算機視覺是兩個密切相關但又有所區別的概念。 一、定義 機器視覺 機器視覺,又稱為計算機
    的頭像 發表于 07-16 10:23 ?594次閱讀

    計算機視覺的五大技術

    計算機視覺作為深度學習領域最熱門的研究方向之一,其技術涵蓋了多個方面,為人工智能的發展開拓了廣闊的道路。以下是對
    的頭像 發表于 07-10 18:26 ?1517次閱讀

    計算機視覺的工作原理和應用

    計算機視覺(Computer Vision,簡稱CV)是一門跨學科的研究領域,它利用計算機和數學算法來模擬人類視覺系統對圖像和視頻進行識別、
    的頭像 發表于 07-10 18:24 ?2232次閱讀

    計算機視覺與人工智能的關系是什么

    引言 計算機視覺是一門研究如何使計算機能夠理解和解釋視覺信息的學科。它涉及到圖像處理、模式識別、機器學習等多個
    的頭像 發表于 07-09 09:25 ?724次閱讀

    計算機視覺與智能感知是干嘛的

    引言 計算機視覺(Computer Vision)是一門研究如何使計算機能夠理解和解釋視覺信息的學科。它涉及到圖像處理、模式識別、機器學習
    的頭像 發表于 07-09 09:23 ?1028次閱讀

    計算機視覺和機器視覺區別在哪

    計算機視覺和機器視覺是兩個密切相關但又有明顯區別的領域。 一、定義 計算機視覺
    的頭像 發表于 07-09 09:22 ?506次閱讀

    計算機視覺人工智能領域有哪些主要應用?

    與分類是計算機視覺的基礎應用之一。通過訓練機器學習模型,計算機可以識別和分類各種圖像,如動物、植物、物體等。這種技術許多
    的頭像 發表于 07-09 09:14 ?1556次閱讀

    計算機視覺屬于人工智能嗎

    屬于,計算機視覺是人工智能領域的一個重要分支。 引言 計算機視覺是一門研究如何使計算機具有
    的頭像 發表于 07-09 09:11 ?1381次閱讀

    計算機視覺怎么給圖像分類

    圖像分類是計算機視覺領域中的一項核心任務,其目標是將輸入的圖像自動分配到預定義的類別集合中。這一過程涉及圖像的特征提取、特征表示以及分類器的設計與訓練。隨著深度
    的頭像 發表于 07-08 17:06 ?864次閱讀

    深度學習計算機視覺領域的應用

    隨著人工智能技術的飛速發展,深度學習作為其中的核心技術之一,已經計算機視覺領域取得了顯著的成果
    的頭像 發表于 07-01 11:38 ?925次閱讀

    機器視覺計算機視覺的區別

    人工智能和自動化技術的快速發展中,機器視覺(Machine Vision, MV)和計算機視覺(Computer Vision, CV)作為兩個重要的分支
    的頭像 發表于 06-06 17:24 ?1401次閱讀

    計算機視覺的主要研究方向

    計算機視覺(Computer Vision, CV)作為人工智能領域的一個重要分支,致力于使計算機能夠像人眼一樣理解和解釋圖像和視頻中的信息。隨著
    的頭像 發表于 06-06 17:17 ?1088次閱讀

    計算機視覺的十大算法

    隨著科技的不斷發展,計算機視覺領域也取得了長足的進步。本文將介紹計算機視覺領域的十大算法,包括它
    的頭像 發表于 02-19 13:26 ?1310次閱讀
    <b class='flag-5'>計算機</b><b class='flag-5'>視覺</b>的十大算法
    主站蜘蛛池模板: 国产精品久久久久久久AV下载| 5566精品资源在线播放| 精品蜜臀AV在线天堂| 99视频一区| 亚洲视频精选| 少妇无码吹潮久久精品AV网站| 久久99精品国产99久久6男男| 国产a级午夜毛片| 2022精品福利在线小视频| 亚洲国产综合久久久无码色伦| 秋秋影视午夜福利高清| 麻豆XXXX乱女少妇精品-百度| 韩国伦理电影在线神马网| 国产不卡视频在线| 扒开小处30p| 99国产强伦姧在线看RAPE| 一日本道伊人久久综合影| 午夜在线观看免费完整直播网| 日本漫画大全无翼乌| 欧美动物交ideos| 久久精品一区二区三区资源网| 国产一区内射最近更新| 国产精品麻豆a在线播放| 吃奶啃奶玩乳漫画| 99热这里只有精品| 在线欧美 精品 第1页| 亚洲区 bt下载| 亚洲精品青青草原avav久久qv| 午夜亚洲WWW湿好爽| 色综合精品无码一区二区三区| 青青青久草| 秋霞午夜理论理论福利无码| 男男肉肉互插腐文| 绿巨人www在线观看| 看黄色片子| 美女的jj| 嫩交18xxxx| 青草视频久久| 秋霞在线看片无码免费| 日本高清二区| 色偷拍自怕亚洲在线|