筆者最近認(rèn)識(shí)的朋友萬力博士（主頁：https://www.cs.nyu.edu/~wanli/），2009到2015年在紐約大學(xué)攻讀博士，研究方向神經(jīng)網(wǎng)絡(luò)在視覺方面的應(yīng)用，目前在Google語音組工作。在”機(jī)器。算法。人”群里面做了一次精彩分享，這次是他博士研究學(xué)習(xí)到的東西。題目是Joint Training of Neural Network and Structured Model. 給大家做個(gè)總結(jié)，確實(shí)專業(yè)術(shù)語比較艱深，不明覺厲的同學(xué)收藏吧。
　　
　　
　　什么是computer vision和vision難在什么地方。博士后期主要是就是做檢測(cè)：也就是給一個(gè)圖片。我們要給出什么物體出現(xiàn)在圖中，并且給出一個(gè)框框來框出物體。這個(gè)主要的難度就在于，不知道什么物體（object of interst） 出現(xiàn)（也可以什么物體都沒有），和它們都在哪里。
　　舉個(gè)例子來說，在1000-class classification 里面，你隨便猜測(cè)一個(gè)標(biāo)簽。猜到的幾率是1e-3。但是你在檢測(cè)，你隨便畫一個(gè)框框，然后說這個(gè)是某個(gè)物體，你猜對(duì)的幾率是《1e-6
　　
　　我認(rèn)為的理想的模型是一個(gè)混合模型：就是神經(jīng)網(wǎng)絡(luò)模型＋帶結(jié)構(gòu)化的模型
　　這樣的話人類知識(shí)就可以放進(jìn)神經(jīng)網(wǎng)絡(luò)。這個(gè)混合模型的訓(xùn)練套路也是很簡(jiǎn)單： 1）初始化神經(jīng)網(wǎng)絡(luò) 2） 用神經(jīng)網(wǎng)絡(luò)的feature來訓(xùn)練后面的模型 3）把后面結(jié)構(gòu)話的模型變?yōu)樯窠?jīng)網(wǎng)絡(luò)的layer 4）混合到一起訓(xùn)練。