人類語言與蛋白質(zhì)有很多共同點，至少在計算建模方面。這使得研究團隊將自然語言處理（NLP）的新方法應用于蛋白質(zhì)設計。其中，德國Bayreuth大學Birte H?cker的蛋白質(zhì)設計實驗室，描述了基于OpenAI的GPT-2的語言模型ProtGPT2，以基于自然序列的原理生成新的蛋白質(zhì)序列。

正如字母表中的字母組成單詞和句子一樣，天然氨基酸以不同的方式結(jié)合形成蛋白質(zhì)。和自然語言一樣，蛋白質(zhì)序列以極高的效率將結(jié)構(gòu)和功能存儲在氨基酸序列中。

ProtGPT2是一個深度的、無監(jiān)督的模型，它利用了變壓器架構(gòu)的進步，而變壓器架構(gòu)也導致了NLP技術(shù)的快速發(fā)展。該體系結(jié)構(gòu)有兩個模塊，Noelia Ferruz解釋說，她是論文的合著者，也是培訓ProtGPT2的人：一個模塊理解輸入文本，另一個模塊處理或生成新文本。第二個是生成新文本的解碼器模塊，幫助了ProtGPT2的開發(fā)。

Researchers have used GPT-2 to train a model to learn the protein “l(fā)anguage，” generate stable proteins， and explore “dark” regions of protein space.

“在我們創(chuàng)建這個模型的時候，還有許多其他人在使用第一個模塊，”Noelia Ferruz說，“例如ESM、ProtTrans和ProteinBERT。我們的是當時第一個公開發(fā)布的解碼器，這也是第一次有人直接應用GPT-2。”

Ferruz本人是GPT-2的忠實粉絲。“我發(fā)現(xiàn)有一個能寫英語的模型給我留下了深刻印象，”她說。這是一個著名的transformer模型，以無監(jiān)督的方式對40千兆字節(jié)的英語互聯(lián)網(wǎng)文本進行預訓練，即使用沒有人類標記的原始文本生成句子中的下一個單詞。GPT-x系列已被證明能夠有效地生成長而連貫的文本，通常與人類書寫的文本無法區(qū)分，因此潛在的誤用是一個令人擔憂的問題。

鑒于GPT-2的能力，Bayreuth的研究人員對使用它訓練模型學習蛋白質(zhì)語言、生成穩(wěn)定的蛋白質(zhì)以及探索蛋白質(zhì)空間的“暗”區(qū)域持樂觀態(tài)度。Ferruz在整個蛋白質(zhì)空間中約5000萬個無注釋序列的數(shù)據(jù)集上訓練了ProtGPT2。為了評估該模型，研究人員將由ProtGPT2生成的10000個序列的數(shù)據(jù)集與來自訓練數(shù)據(jù)集的10000個隨機序列集進行了比較。

他們發(fā)現(xiàn)該模型預測的序列在二級結(jié)構(gòu)上與天然蛋白質(zhì)相似。ProtGPT2可以預測穩(wěn)定和功能性的蛋白質(zhì)，不過，F(xiàn)erruz說，這將在未來幾個月內(nèi)通過對一組大約30種蛋白質(zhì)的實驗室實驗來驗證。ProtGPT2還模擬了自然界中不存在的蛋白質(zhì)，在蛋白質(zhì)設計領(lǐng)域開辟了可能性。

UNIVERSITY OF BAYREUTH/NATURE COMMUNICATIONS

Ferruz說，該模型可以在幾分鐘內(nèi)產(chǎn)生數(shù)百萬種蛋白質(zhì)。“如果沒有進一步的改進，人們可以采用免費提供的模型，并對一組序列進行微調(diào)，以在該區(qū)域產(chǎn)生更多的序列，例如抗生素或疫苗。”但是，她補充說，通過對訓練過程進行小的修改，“我們可以添加標簽，并有可能在未來開始生成具有特定功能的序列。”這反過來不僅在醫(yī)療和生物醫(yī)學領(lǐng)域，而且在環(huán)境科學等領(lǐng)域有潛在的應用。

Ferruz承認NLP領(lǐng)域的快速發(fā)展為ProtGPT2的成功做出了貢獻，但同時也指出，這是一個不斷變化的領(lǐng)域 —— “過去12個月發(fā)生的所有事情都太瘋狂了。”目前，她和她的同事已經(jīng)在寫一篇關(guān)于他們工作的評論。“我在2021圣誕節(jié)訓練了這個模型，”她說，“當時，有另一個模型已經(jīng)被描述過了……但它不可用。”不過她表示，到今年春天，其他模型已經(jīng)發(fā)布。

ProtGPT2的預測序列跨越了新的、很少探索的蛋白質(zhì)結(jié)構(gòu)和功能區(qū)域。然而，幾周前，DeepMind發(fā)布了超過2億種蛋白質(zhì)的結(jié)構(gòu)。“所以我想我們已經(jīng)沒有那么多的暗蛋白質(zhì)組了，”Ferruz說，“但仍有一些地區(qū)……尚未被探索。”

不過，前面還有很多準備工作要做。“我想控制設計過程，”Ferruz補充道，“我們將需要獲取序列，預測結(jié)構(gòu)，并可能預測功能（如果有的話）……這將是非常具有挑戰(zhàn)性的。”ProtGPT2是面向高效蛋白質(zhì)設計和生成邁出的一大步，為探索設計蛋白質(zhì)結(jié)構(gòu)和功能的參數(shù)及其后續(xù)實際應用的實驗研究奠定了基礎(chǔ)。