我們都知道最新的科研成果和實際商業(yè)應(yīng)用中使用的技術(shù)會有一定的距離。一面是高復(fù)雜度、特定(較簡單一致)的輸入和直接量化的性能指標(biāo),另一面是資源成本的限制、為各種各樣情況考慮預(yù)案,以及評價標(biāo)準(zhǔn)要變成更高階、更綜合性的用戶滿意度、營收等等。
所以實際上,即便整個計算機科學(xué)界、互聯(lián)網(wǎng)商業(yè)中大家一直對AI抱有熱情,我們能看到的使用了機器學(xué)習(xí)的商業(yè)化產(chǎn)品也并不多,高度集中在圖像處理、文本翻譯和語音識別幾類任務(wù)中,具體使用的算法也往往并不是學(xué)術(shù)界內(nèi)認(rèn)為先進的算法。
有網(wǎng)友觀察到了這樣的現(xiàn)象,在 Hacker News的問答板塊提問道:「學(xué)術(shù)界一直在不停地做出新的科研進展,但是工業(yè)界好像并沒有選擇使用這些新鮮成果,包括膠囊網(wǎng)絡(luò)或者自動網(wǎng)絡(luò)搜索方面的成果。所以說前沿的科學(xué)技術(shù)研究和技術(shù)商業(yè)化之間就是注定有深深的鴻溝嗎?這些新研究出的模型都沒有什么可能快速商業(yè)化、變成產(chǎn)品嗎?」
曾在斯坦福大學(xué)與 UC伯克利大學(xué)學(xué)習(xí)計算機科學(xué)、在谷歌大腦團隊實習(xí),如今身為全棧開發(fā)工程師DennyBritz給出了一些自己的想法:
大多數(shù)科研成果帶來的提升比較有限,而新的技術(shù)要有能力帶來足夠大的提升才會被產(chǎn)業(yè)界吸收。99.9%的科研論文提出的技術(shù)都是帶來優(yōu)化指標(biāo)(評價指標(biāo),比如準(zhǔn)確率、ROCAUC、BLEU分?jǐn)?shù)等等)的小幅提升。然而表現(xiàn)提升的同時一般都伴隨著計算復(fù)雜度的提升、更高的訓(xùn)練成本、更低的模型穩(wěn)定性、代碼可維護性的挑戰(zhàn)等等。對于谷歌廣告詞搜索、谷歌翻譯之外的絕大多數(shù)企業(yè)的業(yè)務(wù)來說,只為了把某項優(yōu)化指標(biāo)的數(shù)字提升一點點就增加許多成本是根本劃不來的。使用一個現(xiàn)成的、經(jīng)過時間考驗的簡單、成熟、穩(wěn)定的模型要好得多,訓(xùn)練很快、維護簡單。即便它們的跑分會低 1%。
學(xué)術(shù)研究一般都關(guān)心的是如何改進模型,那么在研究中就不可以改變訓(xùn)練/測試數(shù)據(jù)。對于科研來說這是理所當(dāng)然的,畢竟在同樣的數(shù)據(jù)上跑出來的結(jié)果才有可比性。但是在真實世界中,你可以自由地收集更多的訓(xùn)練數(shù)據(jù)、清理數(shù)據(jù)、選擇更有針對性的驗證和測試數(shù)據(jù),等等。在大多數(shù)情況下,有更準(zhǔn)確的、更多的數(shù)據(jù)、更干凈的數(shù)據(jù),都要比換一個更強的模型效果更好。而且處理數(shù)據(jù)的事情也更好做,更有跡可循。所以對于產(chǎn)業(yè)界來說,他們把精力花在數(shù)據(jù)上通常更合適。
科研論文里使用的優(yōu)化指標(biāo)沒有什么能直接遷移到真實世界的商業(yè)指標(biāo)中的,而且同時有很多科研中的想法會過擬合到這些指標(biāo)和/或數(shù)據(jù)集上。比如,研究機器翻譯的論文都會優(yōu)化一個叫做「BLEU 分?jǐn)?shù)」的指標(biāo),但是真實的翻譯應(yīng)用中需要考慮的用戶滿意度和「用戶評分分?jǐn)?shù)」。這可就是學(xué)術(shù)科研很難優(yōu)化的了。類似地,商業(yè)產(chǎn)品并不能直接把「ImageNet 圖像分類準(zhǔn)確率」拿出來賣,不僅模型在應(yīng)用場景中面對的圖像會與 ImageNet 數(shù)據(jù)集不同,用戶滿意度也并不直接對等于識別準(zhǔn)確率。科研論文會關(guān)心特定數(shù)據(jù)集上的特定指標(biāo)(因為論文就是這樣評審的),但是一個模型在這個數(shù)據(jù)集上的這個指標(biāo)表現(xiàn)好,不一定它在別的數(shù)據(jù)集、別的指標(biāo)也有好的表現(xiàn)(即便數(shù)據(jù)集和指標(biāo)可能是類似的)。實際上,即便是含有已知的錯誤的數(shù)據(jù)集也會在科研研究中一直用下去,因為不同的技術(shù)以前就是在這些數(shù)據(jù)集上比較的(雷鋒網(wǎng) AI 科技評論有篇舊文解析過ImageNet中錯誤分類的圖像)。而商業(yè)應(yīng)用里就不會發(fā)生這樣的事情。
對于這個問題,你認(rèn)同提問者的觀察嗎?你對這樣的現(xiàn)象有別的見解嗎?歡迎留言與我們討論。
-
互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
54文章
11184瀏覽量
103706 -
計算機科學(xué)
+關(guān)注
關(guān)注
1文章
144瀏覽量
11386 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8438瀏覽量
132960
原文標(biāo)題:機器學(xué)習(xí)的最新研究成果很少轉(zhuǎn)化成商業(yè)產(chǎn)品,是真的嗎?
文章出處:【微信號:worldofai,微信公眾號:worldofai】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論