麻省理工學(xué)院的研究人員設(shè)計(jì)了一種新穎的閃存系統(tǒng)，可以減少數(shù)據(jù)中心最昂貴組件之一所需的能量和物理空間的一半：數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)中心是促進(jìn)用戶和Web服務(wù)之間通信的服務(wù)器群，是世界上耗能最多的設(shè)施之一。其中，數(shù)以千計(jì)的耗電服務(wù)器存儲(chǔ)用戶數(shù)據(jù)，而單獨(dú)的服務(wù)器運(yùn)行訪問該數(shù)據(jù)的應(yīng)用服務(wù)。其他服務(wù)器有時(shí)會(huì)促進(jìn)這兩個(gè)服務(wù)器集群之間的計(jì)算。

如今大多數(shù)存儲(chǔ)服務(wù)器都使用固態(tài)硬盤(SSD)，它使用閃存 - 電子可編程和可擦除存儲(chǔ)器微芯片，沒有移動(dòng)部件 - 以高速處理高吞吐量數(shù)據(jù)請(qǐng)求。在ACM國(guó)際編程語(yǔ)言和操作系統(tǒng)架構(gòu)支持會(huì)議上發(fā)表的一篇論文中，研究人員描述了一個(gè)名為L(zhǎng)ightStore的新系統(tǒng)，該系統(tǒng)修改了SSD以直接連接到數(shù)據(jù)中心的網(wǎng)絡(luò) - 無需任何其他組件 - 并且支持計(jì)算上更簡(jiǎn)單，更高效的數(shù)據(jù)存儲(chǔ)操作。進(jìn)一步的軟件和硬件創(chuàng)新將系統(tǒng)無縫集成到現(xiàn)有的數(shù)據(jù)中心基礎(chǔ)設(shè)施中。

在實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)一個(gè)由四個(gè)LightStore單元組成的集群，稱為存儲(chǔ)節(jié)點(diǎn)，其運(yùn)行效率是傳統(tǒng)存儲(chǔ)服務(wù)器的兩倍，通過現(xiàn)場(chǎng)數(shù)據(jù)請(qǐng)求所需的功耗來衡量。群集還需要不到現(xiàn)有服務(wù)器占用的物理空間的一半。研究人員通過個(gè)人數(shù)據(jù)存儲(chǔ)操作分解了節(jié)能，以此更好地捕獲系統(tǒng)的全部節(jié)能。例如，在“隨機(jī)寫入”數(shù)據(jù)中，這是閃存中計(jì)算量最大的操作，LightStore的運(yùn)行效率幾乎是傳統(tǒng)服務(wù)器的八倍。

希望有一天，LightStore節(jié)點(diǎn)可以取代數(shù)據(jù)中心的耗電量大的服務(wù)器。“我們正在用更簡(jiǎn)單，更便宜的存儲(chǔ)解決方案取代這種架構(gòu)......這將占用一半的空間和一半的功率，同時(shí)提供相同的吞吐量容量性能，”共同作者，計(jì)算機(jī)科學(xué)的約翰遜教授Arvind說。工程學(xué)和計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的研究員。“這將有助于您的運(yùn)營(yíng)支出，因?yàn)樗母俚碾娏唾Y本支出，因?yàn)閿?shù)據(jù)中心的節(jié)能直接轉(zhuǎn)化為節(jié)省資金。”

加入Arvind的論文是：第一作者Chanwoo Chung，電氣工程與計(jì)算機(jī)科學(xué)系的研究生;研究生Jinhyung Koo和Junsu Im，Sungjin Lee教授，大邱慶北科技學(xué)院(DGIST)。

當(dāng)今數(shù)據(jù)中心的一個(gè)主要效率問題是架構(gòu)沒有改變以適應(yīng)閃存存儲(chǔ)。多年前，數(shù)據(jù)存儲(chǔ)服務(wù)器由相對(duì)較慢的硬盤組成，還有許多動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器電路(DRAM)和中央處理單元(CPU)，可幫助快速處理從應(yīng)用服務(wù)器涌入的所有數(shù)據(jù)。

然而，今天，硬盤大多被更快的閃存驅(qū)動(dòng)器取代。Chung說：“人們只需將閃存插入硬盤所在的位置，而無需改變?nèi)魏纹渌麅?nèi)容。”“如果你可以直接將閃存驅(qū)動(dòng)器連接到網(wǎng)絡(luò)，那么根本不需要這些昂貴的存儲(chǔ)服務(wù)器。”對(duì)于LightStore，研究人員首先根據(jù)“鍵值對(duì)”修改了SSD，這是一種非常簡(jiǎn)單有效的檢索數(shù)據(jù)的協(xié)議。基本上，用戶請(qǐng)求顯示為鍵，如一串?dāng)?shù)字。密鑰被發(fā)送到服務(wù)器，服務(wù)器釋放與該密鑰相關(guān)聯(lián)的數(shù)據(jù)(值)。

這個(gè)概念很簡(jiǎn)單，但是密鑰可能非常大，因此僅在SSD中計(jì)算(搜索和插入)它們需要大量的計(jì)算能力，這被傳統(tǒng)的“閃存轉(zhuǎn)換層”所消耗。這個(gè)相當(dāng)復(fù)雜的軟件在閃存驅(qū)動(dòng)器上的單獨(dú)模塊上運(yùn)行，以管理和移動(dòng)數(shù)據(jù)。研究人員使用某些數(shù)據(jù)結(jié)構(gòu)技術(shù)僅使用一小部分計(jì)算能力來運(yùn)行此閃存管理軟件。在這樣做的過程中，他們將軟件完全卸載到閃存驅(qū)動(dòng)器中的微小電路上，該電路運(yùn)行效率更高。

這種卸載釋放了驅(qū)動(dòng)器上已有的獨(dú)立CPU - 旨在簡(jiǎn)化和更快地執(zhí)行計(jì)算 - 運(yùn)行自定義LightStore軟件。該軟件使用數(shù)據(jù)結(jié)構(gòu)化技術(shù)來有效地處理鍵值對(duì)請(qǐng)求。基本上，在不改變架構(gòu)的情況下，研究人員將傳統(tǒng)的閃存驅(qū)動(dòng)器轉(zhuǎn)換為鍵值驅(qū)動(dòng)器。“所以，我們正在為閃存添加這個(gè)新功能 - 但我們真的沒有添加任何內(nèi)容，”Arvind說。

然后面臨的挑戰(zhàn)是確保應(yīng)用服務(wù)器可以訪問LightStore節(jié)點(diǎn)中的數(shù)據(jù)。在數(shù)據(jù)中心中，應(yīng)用程序通過各種結(jié)構(gòu)協(xié)議訪問數(shù)據(jù)，例如文件系統(tǒng)，數(shù)據(jù)庫(kù)和其他格式。傳統(tǒng)存儲(chǔ)服務(wù)器運(yùn)行復(fù)雜的軟件，通過所有這些協(xié)議提供應(yīng)用服務(wù)器訪問。但是這使用了大量的計(jì)算能量，并且不適合在LightStore上運(yùn)行，LightStore依賴于有限的計(jì)算資源。

研究人員設(shè)計(jì)了非常計(jì)算輕便的軟件，稱為“適配器”，它將所有用戶請(qǐng)求從應(yīng)用服務(wù)轉(zhuǎn)換為鍵值對(duì)。適配器使用數(shù)學(xué)函數(shù)將有關(guān)所請(qǐng)求數(shù)據(jù)的信息(例如來自特定協(xié)議的命令和應(yīng)用服務(wù)器的標(biāo)識(shí)號(hào))轉(zhuǎn)換為密鑰。然后，它將該密鑰發(fā)送到相應(yīng)的LightStore節(jié)點(diǎn)，該節(jié)點(diǎn)查找并釋放配對(duì)數(shù)據(jù)。由于該軟件在計(jì)算上更簡(jiǎn)單，因此可以直接安裝到應(yīng)用服務(wù)器上。

“無論你訪問什么數(shù)據(jù)，我們都會(huì)進(jìn)行一些翻譯，告訴我關(guān)鍵和與之相關(guān)的價(jià)值。在這樣做的過程中，我也會(huì)從存儲(chǔ)服務(wù)器中獲得一些復(fù)雜性，”Arvind說。

最后一項(xiàng)創(chuàng)新是將LightStore節(jié)點(diǎn)添加到集群中與數(shù)據(jù)吞吐量成線性比例 - 數(shù)據(jù)處理的速率。傳統(tǒng)上，人們將SSD堆疊在數(shù)據(jù)中心以解決更高的吞吐量問題。但是，雖然數(shù)據(jù)存儲(chǔ)容量可能會(huì)增長(zhǎng)，但僅在少量額外驅(qū)動(dòng)器之后吞吐量就會(huì)穩(wěn)定下來。在實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)四個(gè)LightStore節(jié)點(diǎn)的吞吐量水平超過了相同數(shù)量的SSD。