先進(jìn)的機(jī)器學(xué)習(xí)算法逐步在專(zhuān)業(yè)的醫(yī)療診斷領(lǐng)域發(fā)揮出重要的作用，在檢測(cè)糖尿病引起的眼部疾病和乳腺癌中都發(fā)揮了重要作用。雖然高性能的算法逐步得到了臨床醫(yī)生的信任和應(yīng)用，但算法還需要認(rèn)識(shí)到哪些信息需要呈現(xiàn)給醫(yī)生，如何與醫(yī)生進(jìn)行信息交互，這些都是決定著機(jī)器學(xué)習(xí)技術(shù)最終為用于帶來(lái)的價(jià)值。在病理學(xué)領(lǐng)域，對(duì)于癌癥診斷和其他一些通過(guò)顯微鏡組織樣本進(jìn)行標(biāo)準(zhǔn)化診斷的疾病來(lái)說(shuō)十分適合于利用機(jī)器來(lái)提高診斷的效率。傳統(tǒng)通過(guò)光學(xué)顯微鏡進(jìn)行的診斷正被數(shù)字病理學(xué)的高分辨率圖像逐漸取代，并在計(jì)算機(jī)上進(jìn)行檢視。這一趨勢(shì)大大方便了醫(yī)務(wù)人員對(duì)于信息的檢索查閱，比如病理學(xué)家在最終疑難雜癥或者特殊病例，或者對(duì)剛?cè)胄械牟±韺W(xué)家進(jìn)行有效訓(xùn)練，數(shù)字化的病理信息十分必要。

這些場(chǎng)景下，人們往往會(huì)問(wèn)到底是什么特征決定了自己判斷的結(jié)果呢？針對(duì)一個(gè)特定的病理圖像，先前的醫(yī)生可能會(huì)和同事討論或者查閱參考書(shū)并希望從中找出相似的視覺(jué)特征。而對(duì)于計(jì)算機(jī)視覺(jué)來(lái)說(shuō)，這相當(dāng)于一個(gè)基于內(nèi)容的圖像檢索問(wèn)題，可以利用輸入圖像檢索出特征相似的圖像結(jié)果(Similar Image Search for Histopathology:SMILY)。

研究人員將相同的方法拓展到了病理學(xué)研究的范疇，提出了病理組織學(xué)領(lǐng)域的相似圖像搜索方法，利用機(jī)器學(xué)習(xí)工具改變了病理學(xué)領(lǐng)域的圖像檢索方式，并探索了基于圖像搜索不同的優(yōu)化方法，形成了一套能與醫(yī)生進(jìn)行有效交互的病理學(xué)圖像檢索和信息綜合系統(tǒng)。

SMILY 設(shè)計(jì)

開(kāi)發(fā)SMILY系統(tǒng)首先需要構(gòu)建深度學(xué)習(xí)模型。研究人員利用50億張自然圖像來(lái)對(duì)模型進(jìn)行訓(xùn)練，將圖像壓縮成一種具有高度代表性的數(shù)值矢量—嵌入矢量。網(wǎng)絡(luò)在學(xué)習(xí)的過(guò)程中將逐步學(xué)會(huì)通過(guò)計(jì)算并比較圖像的嵌入矢量來(lái)區(qū)分相似和不同類(lèi)別的圖像。

隨后研究人員利用這一模型創(chuàng)建了癌癥領(lǐng)域病理圖像片與對(duì)應(yīng)嵌入矢量的配對(duì)數(shù)據(jù)集。當(dāng)一個(gè)檢索圖像片通過(guò)SMILY工具抽取出來(lái)，模型就會(huì)計(jì)算出對(duì)應(yīng)的嵌入矢量并與數(shù)據(jù)集中的嵌入進(jìn)行比較，隨后檢索出相似的圖像返還給用戶(hù)。

構(gòu)建SMILY數(shù)據(jù)集的過(guò)程以及檢索相似圖像片的流程。

用戶(hù)可以使用這一工具選擇感興趣區(qū)域，并通過(guò)系統(tǒng)得到視覺(jué)相似的匹配結(jié)果。研究人員利用乳腺、結(jié)腸和前列腺等常見(jiàn)癌變區(qū)域的組織切片圖像進(jìn)行檢索，驗(yàn)證了系統(tǒng)可以對(duì)訓(xùn)練中沒(méi)有見(jiàn)到過(guò)的圖像有著很好的檢索結(jié)果。

醫(yī)生可以選取感興趣的區(qū)域，系統(tǒng)就會(huì)從數(shù)據(jù)庫(kù)中檢索出多個(gè)相似的樣本，為醫(yī)生提供更多的決策信息

優(yōu)化SMILY系統(tǒng)

但在實(shí)際使用中研究人員發(fā)現(xiàn)用戶(hù)很可能會(huì)對(duì)系統(tǒng)給出很多模糊的問(wèn)題，但系統(tǒng)并不能理解用戶(hù)的意圖。換句話說(shuō)，用戶(hù)需要引導(dǎo)系統(tǒng)來(lái)優(yōu)化搜索結(jié)果，并最終拿到期望的檢索結(jié)果。此外研究人員還發(fā)現(xiàn)不斷迭代的檢索需求實(shí)際上與醫(yī)生進(jìn)行迭代的診斷方式息息相關(guān)。

通過(guò)作出假設(shè)、收集數(shù)據(jù)來(lái)驗(yàn)證假設(shè)、探索可能的假設(shè)、重新審視先前的假設(shè)，這一過(guò)程不斷訓(xùn)練來(lái)得到最終的診斷結(jié)果。對(duì)于SMILY系統(tǒng)來(lái)說(shuō)，需要類(lèi)似的方式支持與用戶(hù)的交互來(lái)實(shí)現(xiàn)診斷流程。

研究人員設(shè)計(jì)了三種方法來(lái)增強(qiáng)SMILY系統(tǒng)，為用戶(hù)提供了交互式的檢索優(yōu)化工具。

通過(guò)區(qū)域優(yōu)化。病理學(xué)家可以從圖像中剪切一個(gè)感興趣區(qū)域，限制了系統(tǒng)檢索的范圍；

通過(guò)樣本優(yōu)化。用戶(hù)可以從檢索結(jié)果中再次選擇一些樣本，系統(tǒng)將基于這些樣本的共性進(jìn)行進(jìn)一步優(yōu)化地檢索；

通過(guò)臨床概念優(yōu)化。通過(guò)特定的臨床概念來(lái)優(yōu)化檢索結(jié)果。研究人員沒(méi)有將這些臨床概念構(gòu)建在模型中，而是給用戶(hù)提供了一種方法來(lái)創(chuàng)建新的、個(gè)性化的概念來(lái)引導(dǎo)模型檢索出需要的結(jié)果。這種方法使得研究人員可以通過(guò)后續(xù)檢驗(yàn)工具來(lái)構(gòu)建特定的概念檢索需要的結(jié)果，而無(wú)需重新訓(xùn)練模型。

三種不同的檢索優(yōu)化方法

實(shí)踐中發(fā)現(xiàn)增強(qiáng)后的SMILY不僅增加了檢索結(jié)果的有效性，同時(shí)交互過(guò)程的引入也大幅度增加了用戶(hù)對(duì)于結(jié)果的信任和采用率。事實(shí)上這一工具在病理學(xué)醫(yī)生的決策過(guò)程中扮演了遠(yuǎn)遠(yuǎn)超過(guò)搜索工具的重要角色。他們可以利用工具觀察在迭代搜索過(guò)程中樣本的變化，作為對(duì)假設(shè)置信度的追蹤方法。當(dāng)搜索結(jié)果與預(yù)期偏離時(shí)，就需要工具檢驗(yàn)更多的假設(shè)，例如剪切出區(qū)域中的一部分、或是改變一些與觀測(cè)結(jié)果對(duì)應(yīng)的臨床概念來(lái)強(qiáng)化一些被忽視的現(xiàn)象。

除了被動(dòng)地接受機(jī)器學(xué)習(xí)工具給出的結(jié)果，醫(yī)生可以利用工具主動(dòng)地檢測(cè)假設(shè)并將領(lǐng)域知識(shí)應(yīng)用到假設(shè)驗(yàn)證過(guò)程中，引導(dǎo)算法更好地工作，這同時(shí)也大幅度放大了自動(dòng)化過(guò)程帶來(lái)的優(yōu)勢(shì)。由于這一交互式工具可以為用戶(hù)提供個(gè)性化的檢索過(guò)程獲取期望的結(jié)果，研究人員還探索了SMILY在輔助檢索大型病理數(shù)據(jù)庫(kù)的數(shù)字化病理圖像。一方面可以利用這一算法為病理學(xué)圖像提供文字標(biāo)簽和目錄，醫(yī)學(xué)生和初級(jí)病理學(xué)家可以根據(jù)利用視覺(jué)搜索的方法來(lái)加速和深化教育和學(xué)習(xí)過(guò)程。

另一方面、癌癥研究人員可以有效地研究腫瘤的形態(tài)學(xué)與病情，加速對(duì)于相關(guān)病例的研究。此外病理學(xué)家還可以利用這一工具定位切片圖像中所有可能的位置特征，更好地理解目前的病情，以便制定有效的治療方案。

更重要的是，研究中發(fā)現(xiàn)復(fù)雜的機(jī)器學(xué)習(xí)算法需要與以人為本的設(shè)計(jì)和交互相配合才能實(shí)現(xiàn)最大的效用，這也許應(yīng)該成為機(jī)器學(xué)習(xí)工具一項(xiàng)重要的設(shè)計(jì)準(zhǔn)則。