一名已經(jīng)15年沒(méi)有說(shuō)話的癱瘓男子，正使用腦機(jī)接口來(lái)解碼他想說(shuō)的話（一次一個(gè)詞）。加州大學(xué)舊金山分校

電腦屏幕顯示問(wèn)題“你想要一些水嗎?”下面有三個(gè)點(diǎn)在閃爍，緊跟著幾個(gè)字，一個(gè)一個(gè)地出現(xiàn):“不，我不渴?！?/p>

大腦的活動(dòng)使這些想法具體化——自從中風(fēng)破壞了他的大腦和身體其他部分的連接，他幾乎癱瘓后，已經(jīng)有15年沒(méi)有說(shuō)話了。他使用了許多其他技術(shù)進(jìn)行交流；最近，他使用了一個(gè)附在棒球帽上的探針在觸摸屏上敲出文字，這種方法很有效，但很慢。他自愿參加了我的研究小組在加州大學(xué)舊金山分校(University of California, San Francisco)的臨床試驗(yàn)，希望開(kāi)創(chuàng)一種更快的方法。到目前為止，他只在研究過(guò)程中使用過(guò)這種大腦轉(zhuǎn)換文本的系統(tǒng)，但他希望自己能夠幫助我們把這項(xiàng)技術(shù)發(fā)展成像他這樣的人可以在日常生活中使用的東西。

在我們的初步研究中，我們?cè)谥驹刚叩拇竽X表面覆蓋了一個(gè)薄而靈活的電極陣列。電極記錄神經(jīng)信號(hào)，并將其發(fā)送到語(yǔ)音解碼器，由語(yǔ)音解碼器將信號(hào)翻譯成該男子想要說(shuō)的話。這是第一次一個(gè)癱瘓的不能說(shuō)話的人使用神經(jīng)技術(shù)從大腦中傳播整個(gè)單詞，而不僅僅是字母。

這項(xiàng)試驗(yàn)是十多年來(lái)對(duì)控制語(yǔ)言的潛在大腦機(jī)制的研究的高潮，我們對(duì)迄今為止所取得的成就感到無(wú)比自豪。但我們才剛剛開(kāi)始。我在加州大學(xué)舊金山分校的實(shí)驗(yàn)室正在與世界各地的同事合作，使這項(xiàng)技術(shù)足夠安全、穩(wěn)定、可靠，并且可以在家里日常使用。我們也在努力改進(jìn)系統(tǒng)的性能，所以這是值得的。

01

神經(jīng)修復(fù)術(shù)是如何工作的

第一個(gè)版本的腦機(jī)接口讓志愿者掌握了50個(gè)實(shí)用單詞。加州大學(xué)舊金山分校

神經(jīng)修復(fù)術(shù)在過(guò)去的20年里取得了長(zhǎng)足的進(jìn)展。用于聽(tīng)覺(jué)的假體植入物已經(jīng)發(fā)展得最遠(yuǎn)了，它們的設(shè)計(jì)與內(nèi)耳的耳蝸神經(jīng)連接，或直接進(jìn)入聽(tīng)覺(jué)腦干。還有大量關(guān)于視網(wǎng)膜和大腦植入視覺(jué)的研究，以及讓義手患者獲得觸覺(jué)的工作。所有這些感覺(jué)義肢從外界獲取信息，并將其轉(zhuǎn)化為電信號(hào)，輸入大腦的處理中心。

相反，神經(jīng)假體記錄大腦的電活動(dòng)，并將其轉(zhuǎn)換為控制外界事物的信號(hào)，如機(jī)械臂、視頻游戲控制器或電腦屏幕上的光標(biāo)。最后一種控制方式已經(jīng)被一些團(tuán)體使用，比如“大腦之門(mén)”(BrainGate)聯(lián)盟，使癱瘓的人能夠打字--有時(shí)一次一個(gè)字母，有時(shí)使用自動(dòng)補(bǔ)全功能來(lái)加快打字過(guò)程。

為了實(shí)現(xiàn)用大腦打字的功能，通常要在大腦中控制運(yùn)動(dòng)的部分--運(yùn)動(dòng)皮層中植入傳感器。然后，用戶想象某些物理動(dòng)作來(lái)控制在虛擬鍵盤(pán)上移動(dòng)的光標(biāo)。另一種方法是我的一些合作者在2021年的一篇論文中率先提出的，他讓一名用戶想象自己拿著筆在紙上寫(xiě)字，在運(yùn)動(dòng)皮層中產(chǎn)生信號(hào)，然后將這些信號(hào)翻譯成文本。這種方法創(chuàng)造了速度的新紀(jì)錄，使志愿者每分鐘能寫(xiě)大約18個(gè)單詞。

在我們實(shí)驗(yàn)室的研究中，我們采取了一種更雄心勃勃的方法。我們不是解碼用戶移動(dòng)光標(biāo)或鋼筆的意圖，而是解碼控制聲道的意圖，聲道由數(shù)十塊控制喉頭(通常稱為喉頭)、舌頭和嘴唇的肌肉組成。

這個(gè)看似簡(jiǎn)單的對(duì)話設(shè)置是由復(fù)雜的神經(jīng)技術(shù)硬件和解碼他的大腦信號(hào)的機(jī)器學(xué)習(xí)系統(tǒng)實(shí)現(xiàn)的。加州大學(xué)舊金山分校

我在十多年前就開(kāi)始在這個(gè)領(lǐng)域工作了。作為一名神經(jīng)外科醫(yī)生，我經(jīng)常看到一些嚴(yán)重受傷、無(wú)法說(shuō)話的病人。令我驚訝的是，在許多情況下，大腦損傷的位置與我在醫(yī)學(xué)院學(xué)到的綜合癥并不匹配，我意識(shí)到關(guān)于語(yǔ)言是如何在大腦中處理的，我們還有很多要學(xué)習(xí)。我決定研究語(yǔ)言的基礎(chǔ)神經(jīng)生物學(xué)，如果可能的話，開(kāi)發(fā)一種腦機(jī)接口(BMI)，為失去交流能力的人恢復(fù)交流。除了我的神經(jīng)外科背景，我的團(tuán)隊(duì)還擁有語(yǔ)言學(xué)、電子工程、計(jì)算機(jī)科學(xué)、生物工程和醫(yī)學(xué)方面的專業(yè)知識(shí)。我們正在進(jìn)行的臨床試驗(yàn)是測(cè)試硬件和軟件，以探索我們的BMI的極限，并確定我們可以恢復(fù)什么樣的語(yǔ)音。

02

說(shuō)話的肌肉:與說(shuō)話有關(guān)的肌肉

語(yǔ)言是區(qū)分人類的行為之一。許多其他物種也會(huì)發(fā)聲，但只有人類以無(wú)數(shù)種不同的方式組合一組聲音來(lái)代表他們周圍的世界。這也是一種非常復(fù)雜的運(yùn)動(dòng)動(dòng)作--一些專家認(rèn)為這是人類最復(fù)雜的運(yùn)動(dòng)動(dòng)作。說(shuō)話是通過(guò)聲道調(diào)節(jié)氣流的產(chǎn)物；每一次發(fā)聲，我們都通過(guò)在喉聲帶中產(chǎn)生可聽(tīng)到的振動(dòng)，改變嘴唇、下巴和舌頭的形狀來(lái)塑造呼吸。

聲道的許多肌肉與以關(guān)節(jié)為基礎(chǔ)的肌肉(如手臂和腿部的肌肉)完全不同，后者只能以幾種規(guī)定的方式運(yùn)動(dòng)。例如，控制嘴唇的肌肉是括約肌，而組成舌頭的肌肉更多的是由液壓控制的--舌頭主要由固定體積的肌肉組織組成，所以移動(dòng)舌頭的一部分會(huì)改變其他地方的形狀?？刂七@種肌肉運(yùn)動(dòng)的物理原理與肱二頭肌或腿筋完全不同。

因?yàn)橛羞@么多的肌肉參與其中，而且每一塊都有這么多的自由度，本質(zhì)上有無(wú)限多的可能的構(gòu)型。但當(dāng)人們說(shuō)話時(shí)，他們使用的核心動(dòng)作相對(duì)較少(在不同的語(yǔ)言中有些不同)。例如，當(dāng)說(shuō)英語(yǔ)的人發(fā)“d”音時(shí)，他們會(huì)把舌頭放在牙齒后面;當(dāng)他們發(fā)“k”音時(shí)，他們的舌頭后部會(huì)向上觸及口腔后部的天花板。很少有人意識(shí)到說(shuō)最簡(jiǎn)單的單詞需要精確、復(fù)雜和協(xié)調(diào)的肌肉動(dòng)作。

團(tuán)隊(duì)成員大衛(wèi)·摩西(David Moses)看著病人的腦電波讀數(shù)(左屏)和解碼系統(tǒng)的活動(dòng)顯示(右屏)。加州大學(xué)舊金山分校

我的研究小組專注于大腦運(yùn)動(dòng)皮層的部分，這些部分向面部、喉嚨、口腔和舌頭的肌肉發(fā)送運(yùn)動(dòng)指令。這些大腦區(qū)域是一心多用的:它們控制產(chǎn)生語(yǔ)言的肌肉運(yùn)動(dòng)，也控制吞咽、微笑和接吻的肌肉運(yùn)動(dòng)。

要用有效的方法研究這些區(qū)域的神經(jīng)活動(dòng)，既需要毫米量級(jí)的空間分辨率，也需要毫秒量級(jí)的時(shí)間分辨率。歷史上，非侵入性成像系統(tǒng)只能提供其中一種，而不能同時(shí)提供兩者。當(dāng)我們開(kāi)始這項(xiàng)研究時(shí)，我們發(fā)現(xiàn)很少有數(shù)據(jù)表明大腦活動(dòng)模式如何與言語(yǔ)中最簡(jiǎn)單的成分(音素和音節(jié))相關(guān)聯(lián)。

在此，我們非常感謝參與研究的志愿者。在加州大學(xué)舊金山分校癲癇中心，準(zhǔn)備手術(shù)的患者通常會(huì)在他們的大腦表面放置幾天的電極，這樣我們就可以在他們癲癇發(fā)作時(shí)繪制出相關(guān)的區(qū)域。在接線中斷的那幾天里，許多患者自愿參加神經(jīng)學(xué)研究實(shí)驗(yàn)，利用他們大腦中的電極記錄。我的小組讓我們研究他們說(shuō)話時(shí)的神經(jīng)活動(dòng)模式。

所涉及的硬件稱為皮層電描記術(shù)(ECoG)。ECoG系統(tǒng)中的電極不穿透大腦，而是位于大腦表面。我們的陣列可以包含幾百個(gè)電極傳感器，每個(gè)電極傳感器記錄數(shù)千個(gè)神經(jīng)元。到目前為止，我們使用的數(shù)組有256個(gè)通道。我們?cè)缙谘芯康哪繕?biāo)是發(fā)現(xiàn)人們說(shuō)簡(jiǎn)單音節(jié)時(shí)皮質(zhì)活動(dòng)的模式。我們要求志愿者說(shuō)出特定的聲音和單詞，同時(shí)記錄他們的神經(jīng)模式，跟蹤他們舌頭和嘴巴的運(yùn)動(dòng)。有時(shí)我們會(huì)讓他們涂上彩色的面部顏料，然后用計(jì)算機(jī)視覺(jué)系統(tǒng)提取運(yùn)動(dòng)學(xué)手勢(shì)；其他時(shí)候，我們使用放置在患者頜骨下的超聲波機(jī)來(lái)成像他們移動(dòng)的舌頭。

該系統(tǒng)首先將一個(gè)柔性電極陣列覆蓋在患者的大腦上，以接收來(lái)自運(yùn)動(dòng)皮層的信號(hào)。該陣列專門(mén)捕捉針對(duì)患者聲道的運(yùn)動(dòng)指令。固定在頭骨上的一個(gè)端口引導(dǎo)連接到計(jì)算機(jī)系統(tǒng)的電線，計(jì)算機(jī)系統(tǒng)將大腦信號(hào)解碼，并將它們翻譯成患者想要說(shuō)的話。然后他的答案會(huì)出現(xiàn)在顯示屏上。Chris Philpot

我們用這些系統(tǒng)將神經(jīng)模式與聲道的運(yùn)動(dòng)相匹配。一開(kāi)始我們對(duì)神經(jīng)信號(hào)解碼有很多疑問(wèn)。一種可能是，神經(jīng)活動(dòng)為特定的肌肉編碼了方向，大腦本質(zhì)上控制這些肌肉，就像按鍵盤(pán)上的鍵一樣。另一個(gè)想法是，編碼決定了肌肉收縮的速度。還有一種是，神經(jīng)活動(dòng)與肌肉收縮的協(xié)調(diào)模式相一致，肌肉收縮用于產(chǎn)生某種聲音。(例如，發(fā)出“aaah”的聲音時(shí)，舌頭和下巴都需要下垂。)我們發(fā)現(xiàn)，有一個(gè)控制聲道不同部分的表征圖，不同的大腦區(qū)域以協(xié)調(diào)的方式結(jié)合在一起，產(chǎn)生流暢的講話。

03

人工智能在當(dāng)今神經(jīng)科技中的作用

我們的工作依賴于人工智能在過(guò)去十年中的進(jìn)步。我們可以將收集到的關(guān)于神經(jīng)活動(dòng)和語(yǔ)音運(yùn)動(dòng)學(xué)的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中，然后讓機(jī)器學(xué)習(xí)算法在兩個(gè)數(shù)據(jù)集之間的關(guān)聯(lián)中尋找模式。在神經(jīng)活動(dòng)和生成的語(yǔ)音之間建立聯(lián)系是可能的，并使用這個(gè)模型生成計(jì)算機(jī)生成的語(yǔ)音或文本。但這種技術(shù)無(wú)法訓(xùn)練針對(duì)癱瘓患者的算法，因?yàn)槲覀內(nèi)鄙僖话氲臄?shù)據(jù)：我們有神經(jīng)活動(dòng)模式，但沒(méi)有相應(yīng)的肌肉運(yùn)動(dòng)。

我們意識(shí)到，使用機(jī)器學(xué)習(xí)更聰明的方法是把問(wèn)題分解成兩個(gè)步驟。首先，解碼器將來(lái)自大腦的信號(hào)翻譯成聲道肌肉的預(yù)期動(dòng)作，然后將這些預(yù)期動(dòng)作翻譯成合成的語(yǔ)音或文本。

我們稱之為仿生學(xué)方法，因?yàn)樗鼜?fù)制了生物學(xué)；在人體中，神經(jīng)活動(dòng)直接負(fù)責(zé)聲道的運(yùn)動(dòng)，只間接負(fù)責(zé)聲音的產(chǎn)生。這種方法的一大優(yōu)勢(shì)在于訓(xùn)練解碼器，以完成將肌肉運(yùn)動(dòng)翻譯成聲音的第二步。因?yàn)槁暤肋\(yùn)動(dòng)和聲音之間的關(guān)系是相當(dāng)普遍的，我們能夠訓(xùn)練解碼器從大的數(shù)據(jù)集，從沒(méi)有癱瘓的人。

04

一個(gè)測(cè)試語(yǔ)言神經(jīng)假體的臨床試驗(yàn)

下一個(gè)巨大的挑戰(zhàn)是將這項(xiàng)技術(shù)帶給真正能從中受益的人。

美國(guó)國(guó)立衛(wèi)生研究院(NIH)正在資助我們從2021年開(kāi)始的試點(diǎn)試驗(yàn)。我們已經(jīng)有兩名植入了ECoG陣列的癱瘓志愿者，我們希望在未來(lái)幾年有更多志愿者加入進(jìn)來(lái)。我們的主要目標(biāo)是提高他們的溝通能力，我們用每分鐘的字?jǐn)?shù)來(lái)衡量他們的表現(xiàn)。一個(gè)成年人在全鍵盤(pán)上打字的平均速度是每分鐘40個(gè)單詞，最快的打字者的速度達(dá)到每分鐘80多個(gè)單詞。

Edward Chang在神經(jīng)外科實(shí)踐中遇到的病人啟發(fā)了他開(kāi)發(fā)一種大腦語(yǔ)音系統(tǒng)。BarbaraRies

我們認(rèn)為接入語(yǔ)音系統(tǒng)可以提供更好的結(jié)果。人類說(shuō)話比打字快得多：一個(gè)說(shuō)英語(yǔ)的人一分鐘可以輕松說(shuō)出150個(gè)單詞。我們想讓癱瘓的人以每分鐘100字的速度交流。為了實(shí)現(xiàn)這一目標(biāo)，我們還有很多工作要做，但我們認(rèn)為我們的方法使它成為一個(gè)可行的目標(biāo)。

植入手術(shù)是常規(guī)的。首先，外科醫(yī)生切除一小部分頭骨；接下來(lái)，靈活的ECoG陣列被輕輕地放置在皮質(zhì)表面。然后將一個(gè)小端口固定在頭骨上，并通過(guò)頭皮上的一個(gè)單獨(dú)的開(kāi)口出口。我們目前需要這個(gè)連接到外部電線的端口來(lái)傳輸來(lái)自電極的數(shù)據(jù)，但我們希望在未來(lái)使該系統(tǒng)成為無(wú)線的。

我們也考慮過(guò)使用穿透微電極，因?yàn)樗鼈兛梢杂涗浉〉纳窠?jīng)群體，因此可能提供更多關(guān)于神經(jīng)活動(dòng)的細(xì)節(jié)。但在臨床應(yīng)用方面，目前的硬件并不像ECoG那樣健壯和安全，特別是多年來(lái)。

另一個(gè)需要考慮的問(wèn)題是，穿透電極通常需要每天重新校準(zhǔn)，才能將神經(jīng)信號(hào)轉(zhuǎn)化為清晰的指令。對(duì)神經(jīng)設(shè)備的研究表明，設(shè)置速度和性能可靠性是讓人們使用該技術(shù)的關(guān)鍵。這就是為什么我們?cè)趧?chuàng)建長(zhǎng)期使用的“即插即用”系統(tǒng)時(shí)優(yōu)先考慮穩(wěn)定性。我們進(jìn)行了一項(xiàng)研究，觀察志愿者的神經(jīng)信號(hào)隨時(shí)間的變化，發(fā)現(xiàn)解碼器在使用多個(gè)會(huì)話和多個(gè)天的數(shù)據(jù)模式時(shí)表現(xiàn)更好。用機(jī)器學(xué)習(xí)的術(shù)語(yǔ)來(lái)說(shuō)，我們說(shuō)解碼器的“權(quán)重”被保留下來(lái)，形成了統(tǒng)一的神經(jīng)信號(hào)。

因?yàn)楫?dāng)我們觀察癱瘓的志愿者的大腦模式時(shí)，他們不能說(shuō)話，我們讓第一位志愿者嘗試兩種不同的方法。他首先列出了50個(gè)日常生活中很方便的單詞，比如“餓了”、“渴了”、“請(qǐng)”、“幫助”和“電腦”。在幾個(gè)月的48個(gè)療程中，我們有時(shí)讓他想象說(shuō)出清單上的每一個(gè)單詞，有時(shí)讓他明顯地試著說(shuō)出來(lái)。我們發(fā)現(xiàn)，嘗試說(shuō)話會(huì)產(chǎn)生更清晰的大腦信號(hào)，足以訓(xùn)練解碼算法。然后，志愿者可以使用列表中的這些單詞生成他自己選擇的句子，比如“不，我不渴?！?/p>

我們現(xiàn)在正在努力擴(kuò)大詞匯量。要做到這一點(diǎn)，我們需要繼續(xù)改進(jìn)當(dāng)前的算法和接口，但我相信這些改進(jìn)將在未來(lái)幾個(gè)月或幾年發(fā)生。既然已經(jīng)建立了原理證明，那么目標(biāo)就是優(yōu)化。我們可以專注于使我們的系統(tǒng)更快、更準(zhǔn)確，最重要的是更安全、更可靠?，F(xiàn)在事情應(yīng)該進(jìn)展得很快。

如果我們能更好地理解我們?cè)噲D解碼的大腦系統(tǒng)，以及癱瘓如何改變它們的活動(dòng)，可能最大的突破就會(huì)到來(lái)。我們已經(jīng)意識(shí)到，無(wú)法向聲道肌肉發(fā)送指令的癱瘓患者的神經(jīng)活動(dòng)模式與能夠向聲道肌肉發(fā)送指令的癲癇患者的神經(jīng)活動(dòng)模式是非常不同的。我們正在嘗試BMI工程的一項(xiàng)雄心勃勃的壯舉，而對(duì)于潛在的神經(jīng)科學(xué)，我們還有很多需要了解的地方。我們相信我們所在的一切都會(huì)讓我們的病人恢復(fù)他們的聲音。

審核編輯 ：李倩