谷歌AI團隊負責人Jeff Dean今天發(fā)布博客文章，總結(jié)了谷歌的研究團隊在2018年的主要研究成果。內(nèi)容包括：

AI道德原則與以人為本的AI

輔助技術(shù)

量子計算

自然語言理解

感知研究

計算攝影

算法和理論

軟件系統(tǒng)

AutoML

TPU

開源軟件和數(shù)據(jù)集

機器人技術(shù)

人工智能在其他領(lǐng)域的應(yīng)用

醫(yī)療AI

研究推廣

AI道德原則與以人為本的AI

在過去的幾年里，我們觀察到人工智能的重大進步及其對我們的產(chǎn)品和數(shù)十億用戶日常生活的積極影響。我們認識到，AI是一種造福世界的力量，它應(yīng)該被合乎道德地應(yīng)用，也應(yīng)該應(yīng)用于對社會有益的問題。今年我們發(fā)布了《谷歌人工智能原則》(Google AI Principles)，提出一系列負責任的人工智能實踐，并概述了實施的技術(shù)建議。

AI用于解決現(xiàn)實社會問題的潛力是顯而易見的。一個例子是谷歌在洪水預(yù)測方面的工作。這項研究旨在提供關(guān)于洪水可能的程度和范圍的準確、及時的細粒度信息，使那些在洪水易發(fā)地區(qū)的人們能夠更好地決定如何最好地保護他們自己和他們的財產(chǎn)。

第二個例子是我們在地震余震預(yù)測方面的工作，我們展示了機器學習模型可以比傳統(tǒng)的基于物理的模型更準確地預(yù)測余震的位置。更重要的是，由于ML模型的設(shè)計是可解釋的，科學家們已經(jīng)能夠?qū)τ嗾鸬男袨樽龀鲂碌陌l(fā)現(xiàn)，這不僅可以得到更加準確的預(yù)測，而且對余震的理解理解也達到了新的水平。

我們還看到大量的外部研究者，有時與谷歌的研究人員和工程師合作，使用TensorFlow等開源軟件應(yīng)對廣泛的科學和社會問題，例如使用卷積神經(jīng)網(wǎng)絡(luò)識別座頭鯨，檢測新的系外行星，識別病變的木薯植物等等。

輔助技術(shù)

我們的大部分研究集中在使用ML和計算機科學來幫助用戶更快、更有效地完成任務(wù)。通常，研究團隊與不同的產(chǎn)品團隊協(xié)作，研究成果被應(yīng)用于不同的產(chǎn)品特性和設(shè)置中。一個例子是Google Duplex，這個系統(tǒng)需要研究自然語言和對話理解、語音識別、文本到語音轉(zhuǎn)換、用戶理解和有效的UI設(shè)計等。

其他的例子包括Gmail的Smart Compose工具，使用預(yù)測模型給出關(guān)于如何撰寫郵件的相關(guān)的建議；以及聲音搜索技術(shù)Sound Search，能夠讓用戶快速、準確地搜索到正在播放的歌曲；等等。

量子計算

量子計算是一種新興的計算范式，它能夠解決經(jīng)典計算機無法解決的具有挑戰(zhàn)性的問題。在過去的幾年里，我們一直在積極地進行這一領(lǐng)域的研究，我們相信該領(lǐng)域正在展示在至少一個問題上的尖端能力(所謂的量子霸權(quán))，這將是該領(lǐng)域的一個分水嶺事件。

在過去的一年里，我們?nèi)〉昧嗽S多令人興奮的新成果，包括開發(fā)了一種新的72量子比特的量子計算設(shè)備：Bristlecone，它可以擴大量子計算機可解決的問題的范圍。

研究科學家 Marissa Giustina 在 Santa Barbara 在圣芭芭拉的量子AI實驗室安裝Bristlecone芯片

我們還發(fā)布了面向量子計算機的開源編程框架Cirq，并探索了如何將量子計算機用于神經(jīng)網(wǎng)絡(luò)。最后，我們分享了我們在理解量子處理器性能波動方面的經(jīng)驗和技術(shù)，并分享了一些關(guān)于量子計算機作為神經(jīng)網(wǎng)絡(luò)的計算基礎(chǔ)的想法。我們期待2019年在量子計算領(lǐng)域取得激動人心的成果!

自然語言理解

谷歌的自然語言研究在2018年取得了令人興奮的成果，既有基礎(chǔ)研究，也有以產(chǎn)品為重點的合作。我們對2017年提出的Transformer架構(gòu)進行了改進，開發(fā)了一種名為Universal Transformer的新的實時并行版本，該版本在翻譯和語言推理等自然語言任務(wù)中顯示出強大的優(yōu)勢。

我們還開發(fā)了BERT，這是第一個深度雙向、無監(jiān)督的語言表示模型，只使用純文本語料庫進行預(yù)訓(xùn)練，然后可以使用遷移學習對各種自然語言任務(wù)進行微調(diào)。BERT在11個自然語言任務(wù)上比以前的最先進的結(jié)果有了顯著的改進。

BERT在非常具有挑戰(zhàn)性的GLUE基準測試中將最優(yōu)結(jié)果提高了7.6%

感知研究

感知研究致力于解決讓計算機理解圖像、聲音、音樂和視頻的難題，并為圖像捕獲、壓縮、處理、創(chuàng)造性表達和增強現(xiàn)實提供更強大的工具。

2018年，我們的技術(shù)提高了Google Photos中組織用戶最關(guān)心的內(nèi)容的能力，比如人和寵物。Google Lens和Google Assistant 讓用戶了解自然世界，實時回答問題，并能在谷歌圖像中使用Google Lens做更多事情。

Google Lens可以幫助你了解你周圍的世界

在音頻領(lǐng)域，我們提出了一種用于語義音頻表示的無監(jiān)督學習方法，以及對富有表達性的語音合成的顯著改進。多模態(tài)感知成為一個越來越重要的研究課題。Looking to Listen將輸入視頻中的視覺和聽覺線索結(jié)合起來，以隔離和加強視頻中所需的說話者的聲音。這項技術(shù)可以支持許多應(yīng)用，從視頻中的語音增強和識別、視頻會議，到改進的助聽器，尤其是可以應(yīng)用于多人講話的場景。

在計算資源有限的平臺上實現(xiàn)感知變得越來越重要。MobileNetV2是谷歌的下一代移動計算機視覺模型，被廣泛應(yīng)用于學術(shù)界和工業(yè)界。MorphNet提出了一種學習深度網(wǎng)絡(luò)結(jié)構(gòu)的有效方法，在計算資源限制的條件下，可以全面提高圖像和音頻模型的性能。最近有關(guān)自動生成移動網(wǎng)絡(luò)架構(gòu)的研究也表明，繼續(xù)提高性能是可能的。

計算攝影

在過去的幾年里，手機攝像頭的質(zhì)量和功能都有了顯著的提高。部分原因是手機中實際使用的物理傳感器有所改進，但更大的原因是計算攝影這一科學領(lǐng)域的進步。

我們的研究團隊發(fā)布了最新研究技術(shù)，并與谷歌的Android團隊和消費硬件團隊緊密合作，將最新技術(shù)應(yīng)用在最新的Pixel和Android手機及其他設(shè)備中。2014年，我們提出了HDR+技術(shù)，通過該技術(shù)，攝像機捕捉到一組幀，然后在軟件中對齊這些幀，并將它們與計算軟件合并在一起。HDR+的工作最初是為了使圖片具有比單次曝光更高的動態(tài)范圍。然而，通過捕獲大量的幀，然后對這些幀進行計算分析成為了一種通用的方法，這種方法在2018年使相機中的許多進步成為可能。例如，它允許在Pixel 2中開發(fā)動態(tài)照片功能，在Motion Stills中實現(xiàn)增強現(xiàn)實模式。

Pixel 2 拍攝的運動照片

Motion Stills 的AR模式

今年，我們在計算攝影研究方面的主要工作之一是創(chuàng)造一種稱為“夜視”(Night Sight)的新能力，它使 Pixel 手機相機能夠“在黑暗中觀看”。

左：iPhone XS(全分辨率)。右: Pixel 3 的夜視能力(全分辨率)

算法和理論

算法是谷歌系統(tǒng)的支柱，觸及我們所有的產(chǎn)品，從Google trips背后的routing算法到Google cloud的consistent hashing 算法。在過去的一年里，我們繼續(xù)在算法和理論方面進行研究，涵蓋了從理論基礎(chǔ)到應(yīng)用算法，從圖挖掘到隱私保護計算的廣泛領(lǐng)域。

我們在優(yōu)化方面的工作涉及從機器學習的連續(xù)優(yōu)化到分布式組合優(yōu)化的各個領(lǐng)域。在前者，我們研究用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的隨機優(yōu)化算法的收斂性(獲得了ICLR 2018年最佳論文)，展示了流行的基于梯度的優(yōu)化方法(如ADAM的一些變體)存在的問題，為新的基于梯度的優(yōu)化方法提供了堅實的基礎(chǔ)。

ADAM和AMSGRAD在一個簡單的一維凸問題上的性能比較

軟件系統(tǒng)

我們在軟件系統(tǒng)方面的大部分研究仍然與構(gòu)建機器學習模型有關(guān)，特別是與TensorFlow有關(guān)。例如，我們發(fā)表了TensorFlow 1.0動態(tài)控制流的設(shè)計和實現(xiàn)。我們的一些新研究引入了一個稱為Mesh TensorFlow的系統(tǒng)，它使得使用模型并行性來指定大規(guī)模分布式計算變得很容易。另一個例子是，我們發(fā)布了一個使用TensorFlow的可擴展深度神經(jīng)排序庫TF-Ranking library。

TF-Ranking庫

我們還發(fā)布了JAX，這是一個加速器支持的NumPy變體，支持Python函數(shù)按照任意順序自動區(qū)分。雖然JAX不是TensorFlow的一部分，但它利用了與TensorFlow相同的底層軟件基礎(chǔ)結(jié)構(gòu)(例如XLA)，它的一些思想和算法對TensorFlow項目很有幫助。

另一個重要的研究方向是ML在軟件系統(tǒng)中的應(yīng)用。例如，我們繼續(xù)使用分層模型將計算部署到設(shè)備上，并有助于學習內(nèi)存訪問模式。我們還繼續(xù)探索如何使用學習的索引來替代數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)中的傳統(tǒng)索引結(jié)構(gòu)。正如我去年所寫的，我們認為在計算機系統(tǒng)中使用機器學習方面，我們只是觸及了皮毛。

在一個NMT模型(4層)中Hierarchical Planner的放置

AutoML

AutoML，也稱為meta-learning，是利用機器學習來自動化機器學習的某些方面的方法。我們已經(jīng)在這個領(lǐng)域進行了多年的研究，我們的長期目標是開發(fā)一種學習系統(tǒng)，這種系統(tǒng)能夠利用從以前已經(jīng)解決的其他問題中獲得的見解和能力，自動地解決一個新問題。

我們在這個領(lǐng)域的早期工作主要是使用強化學習，但我們也對進化算法的使用感興趣。去年，我們展示了如何使用進化算法為各種視覺任務(wù)自動發(fā)現(xiàn)最先進的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

我們也探討了強化學習如何應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索之外的其他問題，我們的研究證明它可用于1)自動生成圖像變換序列，以提高各種圖像模型的準確性；以及2)尋找新的符號優(yōu)化表達式，比常用的優(yōu)化更新規(guī)則更有效。我們在AdaNet上的工作展示了如何得到具有學習能力的快速靈活的AutoML算法。

AdaNet自適應(yīng)地生成神經(jīng)網(wǎng)絡(luò)的集合。在每次迭代中，它都度量每個候選者的集成損失，并選擇最佳的一個進行下一次迭代。

TPU

張量處理器(TPU)是谷歌內(nèi)部開發(fā)的ML硬件加速器，從一開始就設(shè)計為支持大規(guī)模的訓(xùn)練和推理。TPU幫助谷歌的研究取得許多突破性進展，例如BERT(前面已經(jīng)討論過)，同時也使世界各地的研究人員能夠通過開放源碼在谷歌的研究基礎(chǔ)上進行構(gòu)建，并追求自己的新突破。例如，任何人都可以通過Colab在TPU上免費調(diào)優(yōu)BERT, TensorFlow Research Cloud讓成千上萬的研究人員有機會從更大量的免費云TPU計算能力中獲益。

單個TPU v3設(shè)備(左)和TPU v3 Pod的一部分(右)

開源軟件和數(shù)據(jù)集

發(fā)布開源軟件和創(chuàng)建新的公共數(shù)據(jù)集是我們?yōu)檠芯亢蛙浖こ躺鐓^(qū)做出貢獻的兩種主要方式。我們在這個領(lǐng)域最大的努力之一是TensorFlow，這是2015年11月發(fā)布的一個非常流行的ML計算系統(tǒng)。我們在2018年慶祝了TensorFlow的三周年，在這段時間里，TensorFlow的下載量已經(jīng)超過3000萬次，超過1700個貢獻者增加了4.5萬個提交。在2018年，TensorFlow發(fā)布了8個主要版本，并增加了一些主要功能，如eager execution。隨著TensorFlow Lite、TensorFlow.js和TensorFlow Probability的推出，TensorFlow生態(tài)系統(tǒng)在2018年有了大幅增長。

除了繼續(xù)開發(fā)現(xiàn)有的開源生態(tài)系統(tǒng)，在2018年，我們還開發(fā)了一個用于靈活、可復(fù)現(xiàn)的強化學習研究的新框架，一個用于快速理解數(shù)據(jù)集的特征的新可視化工具(無需編寫任何代碼)，一個使用TensorFlow.js在瀏覽器中進行實時t-SNE可視化的庫，以及用于處理電子醫(yī)療數(shù)據(jù)的FHIR工具和軟件等。

完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入的實時演變，該數(shù)據(jù)集包含60000個手寫數(shù)字的圖像

我們發(fā)布了Open Images V4，這是一個包含1540萬個邊界框的數(shù)據(jù)集，包含600個類別的190萬張圖像，以及19794個類別的3010萬個經(jīng)過人工檢查的圖像級標簽。

我們還探索了一些技術(shù)，可以使用Fluid Annotation更快地創(chuàng)建可視化數(shù)據(jù)集。

COCO數(shù)據(jù)集圖像上的Fluid Annotation界面

機器人技術(shù)

2018年，我們在理解 ML 如何教會機器人在現(xiàn)實世界里行動方面取得了重大進展，該研究教機器人抓取從來沒見過的物體，相關(guān)論文獲得CoRL’18最佳論文。我們還通過結(jié)合ML和基于采樣的方法(ICRA'18最佳論文)，在學習機器人運動方面取得了進展。我們第一次能夠在真實機器人上成功地在線訓(xùn)練深度強化學習模型，并且正在尋找新的、基于理論的方法，來學習穩(wěn)定的機器人控制方法。

人工智能在其他領(lǐng)域的應(yīng)用

2018年，我們已經(jīng)將ML應(yīng)用于物理和生物科學中的各種問題。使用ML，我們可以為科學家提供相當于數(shù)百或數(shù)千名研究助理的數(shù)據(jù)挖掘，從而解放科學家，使他們變得更有創(chuàng)造力和生產(chǎn)力。

我們在Nature Methods上發(fā)表的一篇關(guān)于神經(jīng)細胞高精度自動重建的論文提出了一種新的模型，與以往的深度學習技術(shù)相比，該模型將連接組學數(shù)據(jù)自動解釋的準確性提高了一個數(shù)量級。

我們的算法在鳴禽大腦中追蹤單個神經(jīng)突的3D過程

將 ML 應(yīng)用于科學的其他一些例子包括：

通過數(shù)據(jù)挖掘恒星的光曲線，尋找新的太陽系外行星

認識到短DNA序列的起源或功能

自動檢測失焦顯微鏡圖片

自動將質(zhì)譜輸出映射到肽鏈

經(jīng)過預(yù)訓(xùn)練的 TensorFlow 模型可以對Fiji (ImageJ)細胞顯微鏡圖像斑塊的蒙太奇進行聚焦質(zhì)量評估。

醫(yī)療AI

在過去的幾年里，我們一直致力于將ML應(yīng)用于醫(yī)療領(lǐng)域，這是一個影響我們每個人的領(lǐng)域，也是一個我們相信ML可以通過增強醫(yī)療專業(yè)人員的直覺和經(jīng)驗而產(chǎn)生巨大影響的領(lǐng)域。我們在這個領(lǐng)域的一般方法是與醫(yī)療機構(gòu)合作解決基礎(chǔ)研究問題(利用臨床專家的反饋使我們的結(jié)果更加可靠)，然后將結(jié)果發(fā)表在科學和臨床雜志上。一旦該研究得到臨床和科學驗證，我們將進行用戶和HCI研究，以了解如何將其應(yīng)用于實際的臨床環(huán)境。2018年，我們將工作范圍擴大到計算機輔助診斷和臨床任務(wù)預(yù)測。

在2016年底，我們發(fā)表的一項研究表明，經(jīng)過訓(xùn)練的用于評估視網(wǎng)膜眼底圖像以檢測糖尿病視網(wǎng)膜病變跡象的模型，其表現(xiàn)與美國醫(yī)學委員會認證的眼科醫(yī)生相當，甚至略好于后者。

2018年，我們進一步表明，通過使用由視網(wǎng)膜專家標記的圖像進行訓(xùn)練，模型的表現(xiàn)已經(jīng)與視網(wǎng)膜專家相媲美。后來，我們發(fā)表了一項評估，顯示了眼科醫(yī)生與ML模型協(xié)同判斷，如何比單獨做決定更準確。我們與Verily的同事合作，在印度的Aravind眼科醫(yī)院和泰國衛(wèi)生部下屬的Rajavithi醫(yī)院等10多個地方部署了這個糖尿病視網(wǎng)膜病變檢測系統(tǒng)。

ML評估糖尿病視網(wǎng)膜病變

我們還發(fā)表了一項關(guān)于機器學習模型通過視網(wǎng)膜圖像評估心血管風險的研究，這是一項醫(yī)學專家和眼科專家都認為相當了不起的研究。這為一種新的、非侵入性的生物標志物提供了早期有希望的跡象，這種標志物可以幫助臨床醫(yī)生更好地了解患者的健康狀況。

我們今年也繼續(xù)病理學，展示了如何使用ML提高前列腺癌分級的準確度、利用深度學習檢測轉(zhuǎn)移性乳腺癌，并開發(fā)了一個原型的增強現(xiàn)實顯微鏡，可以通過來自計算機視覺模型的視覺信息幫助病理學家和其他科學家。

在過去的四年里，我們進行了一項重大的研究，利用電子健康記錄來進行臨床相關(guān)的預(yù)測。2018年，我們與芝加哥大學、加州大學舊金山分校和斯坦福大學合作，在Nature Digital Medicine上發(fā)表了一篇論文，展示了ML模型如何應(yīng)用于識別電子病歷，能夠?qū)Ω鞣N臨床相關(guān)任務(wù)做出比當前臨床最佳實踐準確性更高的預(yù)測。作為這項工作的一部分，我們開發(fā)了一些工具，使得即使在完全不同的任務(wù)和完全不同的基礎(chǔ)EHR數(shù)據(jù)集上創(chuàng)建這些模型變得非常容易。我們還改進了基于深度學習的變量調(diào)用DeepVariant的準確性、速度和實用性。該團隊最近在《自然-生物技術(shù)》雜志上發(fā)表了一篇同行評議的論文。

研究推廣

我們以多種不同方式與外部研究社區(qū)進行交流，包括教師參與和學生支持。我們很榮幸在本學年招收了數(shù)百名本科生、碩士生和博士生作為實習生，并為北美、歐洲和中東的學生提供多年的博士生獎研金(Ph.D. fellowships)。

作為這個獎學金項目補充的是Google AI Residency項目，這個項目允許想要進入深度學習研究的人在谷歌與研究人員一起工作并接受他們的指導(dǎo)。如今，Google AI Residency已進入第三個年頭，學員們被安插在谷歌全球的各個團隊中，從事機器學習、感知、算法和優(yōu)化、語言理解、醫(yī)療保健等領(lǐng)域的研究。

每年，我們也通過Google Faculty Research Awards program支持一些教師和學生進行研究項目。

我們認為，公開地為更廣泛的研究社區(qū)作出貢獻是支持健康和富有成效的研究生態(tài)系統(tǒng)的關(guān)鍵部分。除了開源和公開數(shù)據(jù)集之外，我們的許多研究都在頂級會議和期刊上公開發(fā)表，并積極參與、組織和贊助各種不同學科的會議。