微模塊機房作為數據中心中創新性的明星產品無論在大型IDC數據中心還是在中小型的EDC機房都已經被廣泛采用，但是行業內對微模塊機房在各種不同機房環境中的適用性和側重點一直缺少系統性的分析和總結。本文通過對微模塊機房在不同技術條件、不同規模大小、不同行業特征機房中應用的優劣勢和匹配性分析，希望能給廣大的機房行業用戶和從業者提供一份有益的參考。

一? 引言

　　近幾年隨著數字經濟的火熱，作為大數據系統大腦的數據中心越來越多，為了滿足愈發緊迫的建設需要，數據中心建設中越來越多地采用模塊化和預制化技術，微模塊機房作為此技術典型的產品化體現，在各種類型的數據中心中應用越來越普遍。
　　
　　模塊機房有多種形式,目前市場上最多的是以機柜、冷通道封閉、行間空調為核心的IT型模塊機房,也有倉儲式、集裝箱型模塊機房、電力模塊、水力模塊、制冷模塊等其它形式的模塊機房方案。但最常見的還是IT型模塊機房,本文也主要以此為研究對象。
　　
　　此種類型模塊機房是2009年從歐美引入中國，之后僅有少量應用，幾年內沒有大規模推廣。但從2016年以后，模塊機房開始在國內如火如荼的推廣起來，各個廠商紛紛爭做模塊機房。到2019年以后模塊機房概念在全國范圍已經廣為接受。但在作為發源地的歐美地區，模塊機房依然不溫不火。
　　
　　以機柜、冷通道、行間空調、一體化UPS為核心的通用性IT型模塊機房最初是針對高密機房制冷而設計的產品方案,主要適合于高密度(5-20kW/柜)的IDC機房,部分軍工科研類機房也適用。普通數據中心項目因為普遍功率密度較低,只有高密區才有使用的必要性。對于普通中等密度(3-5kW/柜)機房,如果運用得當可以起到一定的節能效果。

二? 微模塊機房的優勢

　　1.微模塊機房適合高密度機房,節能優勢明顯
　　
　　傳統機房采用房間級精密空調下送風無通道封閉的方案,主要適合單機柜功率3-5kW的中等密度機房,單柜發熱量大于4kW的機房就宜采取冷熱通道封閉,對于單機柜功率達到5kW以上的中高密度機房就適合采用行間空調或其它制冷方式。采用冷熱通道封閉是適合于大多數機房的節能措施。采用行間空調加冷通道封閉的方案比傳統空調地板下送風無通道封閉要節能20%～30%。
　　
　　根據工信部聯節[2019]24號《關于加強綠色數據中心建設的指導意見》的要求到2022年新建大型超大型數據中心PUE達到1.4以下。兩年后又迎來了更嚴格的政策,發改產業[2021]1464號《國家發展改革委等部門關于嚴格能效約束推動重點領域節能降碳的若干意見》(七)加強數據中心綠色高質量發展中要求:新建大型、超大型數據中心電能利用效率不超過1.3。到2025年,數據中心電能利用效率普遍不超過1.5。2022年2月17日“東數西算”工程啟動,規劃了10個國家數據中心集群,8個算力樞紐節點,其中6個集群要求PUE小于1.25,4個集群要求PUE小于1.2。這些都給機房節能提出了更嚴苛的要求,也給微模塊機房的推廣帶來了更大的市場機會。
　　
　　2.微模塊機房有助于節省機房空間
　　
　　如前文所述,微模塊機房適合于機房高密度設計,這樣在容納同等IT設備的情況下所需要的機柜數量會比傳統機房更少,機房占地面積相應減少。目前一流的微模塊機房廠商還都可以配套提供智能小母線產品和一體化UPS產品,進一步節約機房空間。智能小母線產品則可以替代精密配電列頭柜,在同等機房面積下增加機柜出柜率,適合租賃機房或本身空間不足的機房使用,如圖1所示。一體化UPS將機房市電配電柜、UPS主機、UPS輸出柜、精密配電列頭柜合為一個柜體,如圖2所示,在小型機房中可減少配電柜數量,有效節省配電室空間,還能減少損耗提高配電系統效率并節省空調容量。

　　3.微模塊機房便于采購和售后服務
　　
　　機房工程的典型特征之一是麻雀雖小五臟俱全,20m2的機房和2000m2的機房所需的設備種類相差不多,都需要幾十上百種設備和材料,這就造成工程采購和售后服務相當麻煩。而微模塊機房的機柜、PDU、通道封閉組件、精密空調、UPS、電池、配電柜、動環和安防監控全部可由同一廠家提供,個別廠家還可提供綜合布線和KVM。加上裝修、消防、數通設備、軟件,已經可以滿足小型機房的搭建,對于一般低端機房用戶來說確實可以大大簡化采購和售后服務。但對于高端大型機房這種方式就不夠。
　　
　　4.數據中心中采用標準模塊復制簡化設計施工
　　
　　數據中心中采用多個標準化模塊復制的方式可以簡化設計施工,做好單個的標準模塊后用模塊對整體機房進行分解即可,單個模塊可以讓設備廠家預制,由于模塊標準接口統一現場施工更容易保證工藝質量。
　　
　　模塊復制與機房擴容是兩個不同的概念,機房擴容受制于整體建筑空間、前端電源容量和配電接口、冷源及管路接口等因素,必須前期有規劃預留后期才能擴容,否則無從談起。而同樣的預留方式,采用傳統上送風或下送風機房的方案照樣可以實現,而且各有優劣,傳統機房預留的設備顆粒度需要更大,但微模塊方案需要的工程的顆粒度更大,如需要預留復雜的空調水管及冷媒管路等,有時還需要預留電池電纜管路等。
　　
　　目前市場上擴容性較好的某互聯網微模塊,將高壓直流電源、蓄電池、CDU和行間空調全部放在模塊內部,增加模塊數量對數據中心空間布局沒有影響,只要變壓器和配電柜有足夠剩余容量和開關,就可以不斷復制模塊來擴容。但這種將電池置于模塊內的方案消防風險較大,很多有經驗的用戶和工程總包都不接受。如果將交/直流不間斷電源和電池挪到微模塊外,就會跟傳統機房一樣出現機柜數量容量與UPS電源電池的占地空間相耦合的情況,擴容自由度大大折扣。而且此種方式做出的微模塊成本也偏高,造成數據中心整體成本上升,即使是行業巨頭也要通過簡化機房裝修來抵消部分微模塊成本。所以說大型數據中心中的微模塊定制和復制其實有很高的技術門檻和很高的成本投入,不是輕而易舉能夠實現的。
　　
　　5.微模塊機房美觀度更高
　　
　　微模塊機房將機柜按照冷/熱通道進行封閉,與傳統機房內機柜僅按通道散裝相比,整體外觀更為簡潔整齊,加上機柜和通道封閉由同一廠家提供,外觀更加一致,而且各主流廠家都有在冷/熱通道外部造型、門楣裝飾、燈火效果等方面做刻意美化,使得模塊機房的美觀度明顯更高,如圖3所示。這對有參觀要求的客戶而言很有價值。
　　

　　6.微模塊機房便于分區管理
　　
　　對于有多個用戶在同一機房中部署設備的場景,就會相應產生機房分區管理的需求。這主要在機房租賃和一些大型單位的多個部門共用機房的時候會出現。微模塊機房因為自帶通道封閉可以很好的匹配這類需求,可以給不同用戶分配不同模塊的方法進行分區管理。當然這種方法也有局限性,在一些小機房中只有一兩個微模塊,卻有四五個用戶,運維方還要求監控到每個機柜被人操作的情況,這就有一定難度,需要非標定制才能解決,成本也較高。

三? 微模塊機房的不足之處

　　1.消防風險增大
　　
　　微模塊機房為了解決高密度制冷采用封閉冷/熱通道設計,消防時必須先打開翻轉天窗和冷通道門才能讓滅火氣體進入冷/熱通道,如果天窗偶然打開失敗則無法及時滅火;即使順利打開,滅火氣體的進入速度也不如無通道封閉的傳統機房,火災容易在同一冷通道內蔓延,消防巡檢也不如傳統機房方便,有個別IDC機房甚至將鉛酸蓄電池也安裝在冷通道機柜中,這樣做火災風險更大,電池本身老化就有一定漏液短路故障的風險,全國每年都要爆出幾例因電池起火燒毀機房的事故,所以微模塊內置蓄電池必須配置蓄電池單體監控系統,而且電池臨近設計壽命就及時更換。電池本身還會放出少量氫氣和硫化氫氣體,雖然受行間空調送風作用可以自然排到機柜冷通道外部,風險不大,但對IT和電氣設備總是有害無利。近一兩年來鋰電池開始普及,又開始出現少量將鋰電池入微模塊冷通道的方案,鋰電的火災風險比鉛酸電池更高,滅火更加困難,使用經驗更不成熟。所以筆者的建議是對大規模、長壽命的數據中心不建議將電池放入冷通道中,特別是鋰電池。在大中型機房中采用分布式的UPS和電池還會增加施工及運維的成本和難度,所以大型數據中心采用集中式UPS與電池一同外置在配電室電池間中才是最安全可靠、最經濟的選擇,也便于日后的運維管理,這也是目前普遍的共識與做法;對于中小型數據中心,可以將UPS放入微模塊內,但是電池外置于通道外;對于建筑空間受限的微型雙排或單排微模塊機房,可以考慮將UPS和電池放入冷通道,但這要建立在機房運維人員專業性和責任心都夠強的基礎上,如果機房人員素質達不到還是不要冒險。
　　
　　所以綜合來講,采用微模塊機房增大了消防風險,尤其是對大型數據中心機房。為此也有設計院將氣體滅火的噴頭設計到微模塊天窗上接入冷通道的,但目前大多數微模塊廠家缺少可將氣滅噴頭接入的天窗部件,實際采購施工很困難。另外也有倉儲式微模塊機房把消防氣瓶置于冷通道內,但消防氣瓶屬于高壓壓力容器,氣瓶老化后同樣存在風險,檢修更換也有不便。
　　
　　2.機房設備成本升高,設備質量參差不齊
　　
　　同等品牌和功能配置下,采用微模塊機房使得機房設備成本明顯上升。根據筆者數年來實際項目經驗,在小型機房項目中,采用微模塊機房比傳統機房整體成本要增加20-50%,當然近年來成本有明顯下降。但諷刺的是:高漲的價格換來的微模塊機房卻是質量參差不齊、設備一致性差、售后服務困難。這一方面是因為微模塊機房門檻不高,行業魚龍混雜;另一方面是微模塊機房的內部設備品類繁多,即使頂級廠商也需要外購貼牌部分產品。筆者觀點是:為了保證機房的安全可靠,質量優良,微模塊機房內的配電、UPS、空調等核心產品應該選用行業一流產品。
　　
　　3.非IDC項目可能會使工程復雜化,靈活性變差,工期延長
　　
　　在大多數非IDC類的機房項目中,客戶對IT設備配置的掌控力都比較差,機房建筑大多也并非專門建設,建設需求無法做到標準化,另外大多數業主方為了美觀也不愿意簡化裝修。如果是大機房項目,雖然容易實現多模塊復制,批量定制和工程安裝也相對容易,但因為設備成本相對較高,所以如果不是高密度機房的話,采用微模塊方案會比較雞肋。如果是中小機房項目,微模塊數量少,微模塊標準復制的優勢不明顯,工程總包的專業性也比較低,絕大多數小工程總包都不會安裝微模塊機房,各家微模塊機房產品的安裝調試也有一定的差異,而現有的模塊機房廠家中也沒有幾家提供標準的全套安裝服務,加上微模塊機房都要非標定制并二次采購組裝,微模塊與外部系統、裝修工程的接口和安裝尺寸配合也相當復雜,這樣反倒可能使工程更加復雜,工期延長。
　　
　　4.對低端低密度或者IT設備上架不均勻、超高功率密度的項目適用性較差
　　
　　微模塊機房本身適合高密度機房,如果反過來遇到低密度機房時很容易出現基礎設施配置過度,特別是空調過度制冷出現凝露,同時建設成本過高,低端客戶難以接受。筆者曾經遇到過一個高校機房項目,總共17個柜,實測單機柜功率密度不到1kW,功能要求非常簡單,各種技術要求都不高,機房整體(不止設備,而是含全部工程)總預算僅85萬元,此時強推微模塊機房就行不通。還有一些機房項目在同一微模塊內各機柜IT設備上架不均勻,出現同一條冷通道內一頭溫度偏高另一頭過度制冷的情況,雖然一般不會帶來致命影響,但經常觸發微模塊溫濕度報警,給運維人員帶來困擾。但微模塊內行間空調的位置和數量是一次性固定,制冷無法跟隨IT設備上架情況靈活調整,最多只能使用空調群控補償,效果有限。如果用工程改造解決又太過麻煩,成本偏高。另外對于單柜高達20-80kW的超高功率密度應用場景(通常是超算類數據中心),采用行間空調的普通微模塊機房也不適用。
　　
　　5.對改造、利舊項目適用性較差
　　
　　有很多老舊機房早年建設時建筑條件不佳,建筑承重和層高都不高。而且采購了很多老式非標機柜,大小高矮不一,甚至還有很多尺寸不規則的小型機、存儲機。在多年后的機房更新改造時,客戶要想使用模塊機房就會遭遇種種困難。
　　
　　比如雙排機柜的模塊機房因為帶翻轉天窗都對房間高度有一定要求,很多老式辦公樓凈空層高只有2.4m～2.6m,而一般模塊機房建議的凈空層高為3m(GB50174-2017設計規范也要求機房凈高不宜小于3m),至少也要2.8m,否則無法滿足天窗的翻轉高度和房頂照明燈具安裝。模塊機房的寬度一般為3.4或3.6m,加上兩側通道,對房間寬度要求至少是5.4m,很多老辦公樓也達不到。此時可能需要非標定制單排機柜+加冷通道封閉的模塊機房來適應窄而長的機房空間。如圖4所示:
　　

　　又比如模塊機房一般采用600mm或800mm寬度,1100mm或1200mm深度,2000mm或2200mm高度的標準機柜,但很多老機房中購置了寬600*深800,寬600*深1000,高度1400/1600mm的非標機柜,無法直接納入冷通道內并柜。尺寸不規則的小型機、存儲機就更加尷尬,往往承擔了重要的業務和存儲內容,不能輕易更換,但其寬度深度經常不是整數(比如608mm、710mm),跟普通機柜并排放置都無法對齊,并柜更是不可能了。所以說對改造和設備利舊型的機房項目,大多數廠商的標準型模塊機房經常會不適用。
　　
　　我們的解決之道在于非標定制可以與機柜相分離的冷通道封閉組件,并定制配合非標尺寸機柜的結構補齊件。比如在成都一微模塊機房項目中正是采用此種方案將寬608/710×深1000×高2150(mm)的甲供非標機柜和寬600×深1200×高2000(mm)標準機柜和行間空調共三種不同尺寸的設備集成到同一通道封閉中。并且配合冷熱通道全封閉+空調智能控制技術成功解決了單機柜30kW的超高功率密度制冷難題。如圖5所示。
　　

　　6.溝通學習成本高
　　
　　微模塊機房本身是多種產品集成的結果,麻雀雖小五臟俱全,市場上沒有哪個廠家能做到自產全部子系統產品,大量的代工集成導致各子系統產品技術規格繁雜,即使是微模塊廠家的技術人員也需要花費大量時間經驗才能熟悉各子系統產品的規格及使用,特別是對非自產設備的細節信息溝通會比較費勁。對機房用戶和施工總包來講,原先做傳統機房直接對接各子系統設備廠家即可,溝通比較分散頭緒很多但比較直接見底,采用微模塊機房后雖然對接的廠家大大減少,但微模塊機房更像一個“黑箱”,內部包含的種種細節要學習掌握起來會更漫長。

四? 對不同規模微模塊機房

及邊緣計算應用的分析

微型機房(此處指10個機柜以下機房)因為機柜很少,面積也較小,一般采用單柜或者單排柜的模塊機房即可,可以體現出機柜即機房的概念,降低機房裝修要求,安裝也很簡便,能夠簡化機房的設計和施工,可以體現出微模塊機房的優越性。現在各主流設備廠家都有自己比較成熟的產品,可以通過代理商直接銷售并完成安裝,易于批量推廣。不足之處在于很多設備廠家產品配置上(特別是在配電和監控產品上)的靈活性、兼容性和經濟上還有待改善。
　　
　　1.微模塊機房在中小型機房應用的分析
　　
　　中小型機房(此處指10-100個機柜的機房)因為機柜數量不算太多,面積也較小,如果采用微模塊機房則冷/熱通道數量通常不超過4個,而且機房建筑經常不規則,模塊布置容易受限,經常出現模塊大小不一、單排與雙排機柜混搭、建筑立柱插入模塊、建筑高度不足等情況,難以發揮出標準模塊復制的優勢。而且小型機房的IT設備配置相對比較簡單隨意,標準化較差,相應導致微模塊機房很難標準化匹配,所以更考驗廠商的定制化能力。對于大多數按傳統方式設計的項目,為了起到改善美觀度和簡化采購及售后服務的作用,微模塊機房需要針對各種常見不同環境定制出的匹配性產品方案,然后歸納成幾種典型解決方案套餐進行推廣,而且必須配套對微模塊機房有豐富安裝經驗的施工方或廠家服務才可以實現。所以說中小機房中的微模塊解決方案反倒比大型機房中的微模塊更具有含金量。
　　
　　2.微模塊機房在大中型機房的應用分析
　　
　　大中型機房項目(此處指100個機柜以上)因為機柜數量較多,機房面積大,所以一般都需要設計多個機柜冷/熱通道(通常4個以上),此時微模塊機房容易發揮多個標準模塊復制的優勢,如果設計和配置得當,部分項目還可以優化施工工藝和降低建設、運營成本。但仍有受制于建筑條件、IT配置方式、漸進式擴容、系統和設備利舊、運維管理劃分、用戶使用習慣、項目成本管理等多種原因,在實際項目中大規模采用全微模塊化的數據中心仍然有限,采用外置下送風空調+傳統機柜+冷通道封閉半模塊化方案的才更常見。
　　
　　比如很多IDC數據中心中大量采用冷凍水型行間空調微模塊,省去了傳統架空地板簡化裝修。在微模塊中設置冷凍水分配單元,再通過冷凍水支管分配到每臺行間空調,大量水管進入微模塊內部,簡單實用。但在以銀行為代表的金融數據中心中,追求高安全可控性,一直擔心萬一水管爆管機柜被淹的情況出現,所以對水管進入機柜區非常忌諱,而且金融數據中心大多數以中等功率密度機柜為主,高密機柜較少,所以更傾向于采用傳統下送風房間級空調的方案,將冷凍水和冷凝水隔離在空調區中。此時采用傳統的機柜+冷通道封閉半模塊化方案即可。目前也有少數大型數據中心采用AHU空調，其本質上是采用熱通道封閉的微模塊機房+上送風的方案，機柜功率密度不宜過高，而且AHU空調本身沒有冷凍水系統的蓄冷罐，所以必須增加一路UPS電源才能保證連續制冷，這對供電可靠性的要求就更高了，UPS應選擇行業一線產品。
　　
　　3.微模塊機房在不同行業用戶的適用性分析
　　
　　運營商和IDC行業的機房因為規模大，追求經濟性，機柜功率密度較高，分區出租管理的需求多，設備靈活調整的機會也多，是最適合也是最早采用微模塊機房的行業。而且很多IDC客戶的IT設備有自己特定的配置模式，對IT配置掌控力強，可根據IT設備配置推導出相匹配的微模塊機房設備配置,而且業務增量大，所以容易大規模標準復制。
　　
　　(1)第三方數據中心租賃行業
　　
　　第三方機房租賃行業面對的客戶群體及其需求、租期都充滿變數,如果是批發類用戶還相對較好,零售類用戶基本沒可能做到IT機柜模塊的標準化,因此國外很多大型數據中心都采用地板下送風不帶機柜的建設方式。加上此類客戶經常對成本敏感,所以推廣微模塊機房有一定的局限性,主要是針對大型IDC類用戶批發業務,小型零售類業務不適用。而且采用建筑房間模塊化可能更容易更有價值。但此類客戶采用電力模塊、制冷模塊的機會較大。
　　
　　(2)金融行業
　　
　　金融行業機房一般以中等密度為主,少量高密度,側重安全可靠穩定性,技術上相對保守,所以微模塊機房應用相對較少,還是以下送風精密空調的傳統機房為主。即使考慮節能,也是在傳統雙排機柜上加上冷通道封閉,只有少數高密區機房和分支機構小機房會優先采用微模塊機房。其目的除了解決個別高密區機房應用之外,更多是在于簡化地市級支行、測試機房、弱電間等小機房的采購方式和節約建設成本。
　　
　　(3)政府、醫療、教育、一般企事業單位
　　
　　此類用戶的需求比較碎片化,一般以中小型機房為主,配置不統一,而且功率密度大多不高,從技術角度講,除了少數空調布置受限的情況外,做微模塊機房主要在機房設備統一采購和售后服務方面有優勢,技術上的迫切性有限。很多客戶采用微模塊機房更多是為了標新立異和美觀,工程采購管理界面簡單,很大程度上是受行業風向的影響。
　　
　　(4)軍工和科研行業
　　
　　軍工科研領域的機房需求經常呈現兩極分化,一方面安全可靠性要求高,而且很多有涉密屏蔽的要求;另一方面追求標新立異,試驗性很強,超高密度機房很多。單機柜10kW以上的功率密度很常見,特別是超算類機房單機柜功率密度高達20-80kW,常規的精密配電柜和行間精密空調都難以滿足需要,經常需要定制高密度配電和制冷系統。此類客戶以定制化需求為主,甚至需要采用液冷方案,很難批量采用標準微模塊產品。此類用戶另有一些零散的科研機柜需求,要求不高,需求碎片化,采用標準化模塊機房意義不大,直接采購機柜廠家設備配上少量電源和空調即可。
　　
　　4.虛擬化和云技術對微模塊機房的影響
　　
　　從數據中心使用的角度看,虛擬化和云計算可以明顯提高IT設備的利用率,提高單機柜功率密度,減小數據中心一次性建設規模,而且可以形成多數據中心遠程備份,有利于資源共享、錯峰使用和容災備份。
　　
　　此種變化對于模塊機房的推廣應用是較為有利的,IT設備利用率的提高使得高密度機房越來越多,越來越適合采用模塊機房。
　　
　　云技術可以將成百上千臺服務器虛擬成一個強大的服務器,再將其拆分成若干臺虛擬機,分配給不同用戶完成特定的功能。采用類似的原理分布式網絡存儲系統采用可擴展的系統結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易于擴展。這樣使得機房的服務器和存儲設備布置可以更加靈活,減少因業務功能和應用不同而刻意進行分區的集中安裝管理,更容易采用標準的模塊化機房來部署。
　　
　　另外云計算技術的成熟使得大型互聯網的應用服務的快速上線部署和快速更新迭代需求更加強烈,相應地要求數據中心基礎設施建設更加快速化彈性化,而解決的方案就是標準化、模塊化、預制化,最終大大促進了模塊化機房技術的發展成熟。
　　
　　但同時因為云技術快速彈性化部署和更新的特點使得數據中心IT設備的運行狀態更加富于變化,對電源、制冷、網絡需求的峰谷波動更為明顯,倒逼數據中心基礎設施的智能化、彈性化、自適應能力需要進一步提高。目前很多一線廠家宣傳將智能AI技術融入微模塊機房產品中,目前還在初步實踐階段,真正的數據中心整體智能控制管理技術發展還任重道遠。

五? 總結

　　微模塊機房作為一種產品技術和其它數據中心技術一樣都有其長處和短處,但是其帶來的數據中心系統集成化、標準化、預制化建設思想比其本身的產品價值有更大的意義,所以很多廠商將其包裝打造成為推動商業模式變革的有力工具。不過這種思想理念需要長期的摸索和優化積累才能實用化落地,配套的市場生態環境也需要長期培育才能成熟。
　　
　　誕生之初的微模塊機房僅適合于少數高密度機房,但經過十幾年的發展改進,微模塊機房解決方案的內涵不斷豐富和升級,成本明顯降低,加上市場和政策的變化,微模塊機房的適用范圍不斷拓寬加深。特別是近幾年在公共領域(政企、科教、交通等)中小型機房的滲透拓展,把微模塊機房的發展推上了高潮,技術分支越來越細,功能越來越多,使用便捷性也越來越高,已經不再局限于微模塊產品內部而向真正的機房整體解決方案邁進,實現了從專用產品向通用產品的轉變。
　　參考文獻
　　[1]施耐德APC的第160號白皮書《模塊化數據中心架構的規格》NeilRasmussen　　
　　[2]《大話IDC——模塊化和標準化》陳昌炎　　
　　[3]《大話IDC——模塊化數據中心技術和商業模式》陳昌炎　　
　　[4]《大話IDC——預制化在IDC商業化的困惑與迷局》陳昌炎　　
　　[5]《大話IDC——整機架之“殤”》陳昌炎　　
　　[6]《鵝廠的“微模塊數據中心”觀》騰訊數據中心云社區專欄　　
　　[7]《像搭積木一樣拼裝數據中心》騰訊數據中心云社區專欄　　
　　[8]《對比三種模塊化數據中心技術》華為企業互動社區論壇轉載原作者佚名　　
　　[9]《云計算的前世今生》網易云劉超　　
　　[10]《數據中心敏捷交付的五大挑戰》萬國數據GDSPiloTalk

編輯：黃飛

?