全閃存數據中心讓Hadoop提速10倍
大小：0.08 MB 人氣： 2017-10-12 需要積分：1
EMC預測，到2020年，用于生產應用的所有存儲系統都將基于閃存陣列，傳統磁盤僅用于大容量及歸檔存儲。
現代化的數據中心
EMC認為，2016年將是全閃存之年，主存儲系統進入全閃存時代。
EMC全球高級副總裁、大中華區總裁葉成輝表示，當前的數字化轉型中，大數據、移動、物聯網等新應用不斷推動數據中心向更快速、更高效、更敏捷的方向變革。
VMware全球副總裁、大中華區總裁郭尊華認為，企業都希望采用云計算、移動、互聯網技術去推動新的業務的發展，在搭建數據中心的時候，要非常快速地去部署、管理這些IT的資源，同時也必須要去追求高效、經濟的效率。
葉成輝表示，從EMC的角度來看，現代化的數據中心有四個方面的亮點。
全閃存。現在已經逐漸變成閃存的天下。EMC在三年半之前推出來第一臺閃存，大家覺得很貴，但是現在已經在改變。現在EMC推出來的閃存產品已經是3.8TB，三星在研發的是30TB的閃存。今天大部分企業用的非閃存的存儲還是1TB，而且是機械存儲，故障率更高，需要很多的維修工作，所以閃存會改變未來。因為現在閃存比較大，成本比較低。所有的數據中心在未來18個月將會轉換成新的應用會放在閃存上面。
云賦能。所有的數據中心未來都要跟云結合，這就是云賦能的做法。
橫向擴展。添加硬盤的傳統縱向擴展做法只適合數據量增長不大的情況，但是未來的數據中心是橫向擴展的做法。
軟件定義。新應用快速迭代，工程師已經沒有那么多時間去管理數據中心，需要利用軟件自動化管理來支持更多的新應用，所以未來是軟件定義。
EMC全球高級副總裁、大中華區總裁葉成輝與VMware全球副總裁、大中華區總裁郭尊華
機架級閃存可讓Hadoop提速10倍
EMC資深產品顧問李君鵬（Mike）介紹了EMC最新發布的VxRail超融合基礎架構應用裝置、VMAX All flash和全新的機架級閃存的存儲解決方案DSSD D5的技術細節。
VxRail
隨著CPU和存儲的密度越來越高，以及有更快的網絡來連接CPU和存儲，現在可以使用軟件定義的基礎架構，超融合基礎架構是軟件定義的，將計算、軟件定義的存儲、網絡和虛擬化集成在一起，超融合基礎架構使計算、存儲和網絡功能與底層的硬件解耦合，運行在通用的基于X86標準的工業組件上。
超融合基礎架構簡化了SDDC軟件定義的數據中心，超融合基礎架構包括兩個基本的組件，一個是超融合軟件，另外一個是工業標準硬件。超融合軟件提供了計算、存儲、網絡和管理功能。超融合軟件允許物體存儲融合在工業標準的X86服務器里，以構件塊的方式提供了橫向擴展的能力，可以使數據中心以敏捷、可擴展以及成本高效的方式來運行。
VMware的超融合軟件，包括vCenter Server、vSphere、VSAN等。
VCE VxRail是由EMC和VMware共同組建的、單一研發團隊提供的超融合的應用裝置，以2U、四節點、敏捷可擴展、易管理、SDDC構件塊的方式，提供了虛擬化、計算、存儲、網絡和數據保護。VxRail應用裝置適合于部署在虛擬桌面、服務器工作負載、混合云以及分布式企業環境。VxRail應用裝置提供了多種配置和規格，可以實現無中斷的SDDC的橫向擴展。
VxRail也提供了可以提升效率的數據服務，集成了復制、數據保護、備份功能。
VxRail為VMware超融合環境提供了單一廠商支持的單一廠商解決方案。
VxRail使用X86硬件運行軟件定義的存儲環境，VxRail是專門構建的SDDC軟件定義數據中心解決方案。
VxRail是完全集成的VMware的超融合基礎架構應用裝置。
如果使用其他的超融合解決方案，用戶需要使用第三方的工具和管理。VxRail允許客戶利用現有的標準，使用相同的工具、管理、流程和技能，不需要新技術的學習過程。集成現有的VMware的軟件版本，簡化了生命周期管理，降低了TCO。
一個2U的VxRail最多可以有112個CPU核心，提供76TB的閃存容量，支持同步數據消除、壓縮、糾刪碼，一個2U的應用裝置提供了更多的閃存、更多的性能。
使用VxRail可以從小配置開始，16個VxRail應用裝置最多可以運行3200個虛擬機。
使用VxRail可以選擇適合任何使用情形的配置，對于那些需要最大的性能和規格，要求低延遲的應用程序，客戶可以選擇全閃存節點。對于那些需要兼顧性能和成本的使用場景，客戶可以選擇混合節點。
一個應用裝置內的四個節點必須是同構的，不同配置的應用裝置可以在一個群體當中混搭。
使用VxRail，簡化了端到端的生命周期管理。VMware的超融合軟件，可以自動搭建、配置和驗證客戶的VxRail，加速業務的敏捷性，加快了收效時間。從開機到調配虛擬機，客戶只需要不到15分鐘，就可以建立起一個VMware的群集，沒有其他超融合解決方案能夠做到這一點。要實現這個目標，超過200多個配置步驟，實現了自動化。添加一個新的應用裝置到這個環境，只需要5分鐘就可以完全配置好。
VxRail中，RecoverPoint提供了復制、數據保護和先進的災難恢復。VMware的VDP提供了原端消重的數據恢復，還可以使用EMC的Data Domain，還可以將VxRail的存儲容量可以擴展到可擴展的云存儲當中。VxRail的市場當中，有一些經過驗證的、預配置的應用程序供客戶選擇，進一步擴展了客戶VxRail的價值。隨著時間的推移，VxRail市場里會有越來越多的應用程序供客戶選擇。
EMC的融合平臺提供了這種端到端的方式，將Vblock、VxRack等混合在一起，在邊緣或者是在遠程辦公室、分支辦公室，有VxRail，所有這一切通過VCE vScale聯結在一起，使用VCE來管控。這就是分級的分布式企業應用的融合基礎架構平臺，是由EMC的VCE提供。
郭尊華表示，VMware自身也是VxRail的客戶，在全球用了130套，節省了很多機房的空間和機架的空間。
對于EMC融合架構的三種不同產品Vblock、VxRack和VxRail的差異性，李君鵬總結說，Vblock最適合于部署在傳統的數據中心，運行以前關鍵任務應用，像SAP、Oracle、Microsoft等等，第二平臺最關鍵的應用。VxRack部署在傳統的企業數據中心和服務提供商的數據中心最合適，運行這些通用的一般的第二平臺工作應用和最新的第三平臺應用。VxRail最適合于部署在數據中心以外，或者是中小企業，中小企業可能是很小的數據中心，只有很少的IT人員。像這些都是VxRail直接運行的虛擬化工作負載，都是VxRail比較適合的。都提供了很好的橫向擴展能力，即使2U的VxRail應用裝置，也可以擴展到16個應用裝置，運行多達3200個虛擬機。如果是客戶未來的環境需要擴展得更大，一開始就建議上VxRack。此外，不同于VxRail與VMware緊密集成，VxRack可以支持OpenStack環境。
VMAX All flash
認為全閃存年到來，EMC重新設計了VMAX，盡可能的利用最高密度的閃存，通過支持3.8TB的閃存盤，使VMAX All flash與混合陣列相比，在購買成本和總體擁有成本方面，更具有吸引力。與混合陣列相比，VMAX All flash提供了更高的性能，400萬IOPS，低于0.5毫米的延遲，150GB/S的帶寬。簡化了基于應用裝置的軟件打包方式和橫向擴展的構件塊配置，消除了銷售和購買的復雜性，使客戶更樂意采納全閃存的VMAX，和使用高端的數據存儲服務。
由于全部是閃存盤，只提供了一個服務節點，不需要關心應用程序的I/O偏斜的不同，因為整個應用程序都是應用在閃存盤上。
VMAX All flash與ECM此前推出的XtremIO全閃存陣列的相同和不同之處：
首先，XtremIO和VMAX All flash都支持混合工作負載整合，都提供了一致的低延遲。與XtremIO不同的是，VMAX All flash提供了多維度的擴展，無論是端口支持的設備數量還是容量。VMAX All flash為關鍵任務應用提供了世界級的業務連續性和災難恢復解決方案，提供了6個9的可用性。除了數據塊的工作負載，VMAX All flash還可以整合mainframe、IBM 系列和文件的工作負載。VMAX All flash提供了線內的消重和壓縮，還有無中斷的VMAX數據遷移。
VMAX All flash為閃存而設計，能夠支持巨大的規模，增加了閃存的耐用性，提供了一致的低于0.5毫秒的延遲。VMAX All flash提供了高IOPS、巨大的帶寬。
多核多線程設計，用于超過100萬個虛擬機，VMAX All flash有巨大的全局緩存，寫I/O首先寫到VMAX的cache當中，如果同一個地址的數據被反復修改，VMAX就把最后的修改寫到后端的閃存盤上。VMAX巨大的全局內存使后端寫到閃存盤的I/O數量減少了80%，增加了閃存的耐用性。同時VMAX All flash也提供了閃存的模組分析技術，可以監控閃存盤的使用壽命。當發現閃存盤的使用壽命接近的時候，可以預先準備好備用的閃存盤。
巨大的寫緩存、智能的讀寫算法，為VMAX All flash提供了極低的、一致的低于0.5毫秒的延遲。CPU按照工作負載的要求，動態分配CPU的核，先進的QoS、優先級控制，可調整的前端后端的FE/BE樣本文件。
VMAX All flash有巨大的SPC吞吐量，支持BI和DW。
VMAX All flash的基本構件塊是V-brick，包括引擎和53TB的閃存軟件，可按照13TB閃存包實現橫向擴展。VMAX All flash縱向和橫向擴展能力，可以分別擴展容量和性能。V-brick和驅動器升級都是打包的。
客戶在尋求全閃存系統帶來好處的同時，又不想失去高端存儲支持他們關鍵任務的能力和價值，VMAX All flash廣泛的生態環境為各種平臺、操作系統、混合云等各類應用提供了通用的標準的交付存儲服務的方式。VMAX All flash堅若磐石般的復制和集成技術，支持了客戶的關鍵應用程序，維護數據的可用性，避難了災難。
VMAX All flash企業規模的管理和自動化，簡化了管理，降低了運行成本。
VMAX All flash巨大的整合能力可以滿足服務提供商和大企業需要的可預測性、規模和控制。
使用unisphere配置VMAX All flash，平均的調配時間不到30秒。
VMAX All flash部署也非常靈活，可以單獨部署，也可以作為Vblock融合存儲架構來快速部署。
一個VMAX All flash技術更新的案例，客戶原先有一個9機柜的VMAX20K，通過更新為相同容量的單一機柜的VMAX All flash，實現了6倍性能的提升，總體應用成本降低了40%，能耗減少了87%，占地面積減少了92%，預計驅動器的更換數量會減少98%。
VMAX All flash是真正的關鍵任務存儲，管理自動化、豐富的企業數據服務、深入的生態環境集成、可信的保護、超大規模的整合，簡化了規劃和部署，實現閃存的潛能。
葉成輝認為，VMAX All flash最顛覆的就是傳統的金融銀行，因為70%的銀行都有VMAX，對他們來講最需要的是穩定、可靠、快，以前可能沒有All flash，他們不夠快。
機架級閃存存儲解決方案DSSD D5
DSSD提供了一個共享的和直接訪問的高性能機架級閃存存儲池，支持高度可擴展的協議，實現了NVMe從user space來訪問，也實現了NVMe的熱插拔的存儲模塊。
DSSD提供了超高的性能，一千萬個IOPS，100GB/S的帶寬，100微秒的延遲，144TB的閃存容量。
DSSD優化了數據通道和客戶通道，DSSD的數據通道是不使用軟件的，這樣就提供了最低的應用程序的延遲，最大的IOPS和帶寬。應用程序直接訪問DSSD，不需要經過傳統的I/O軟件站。
DSSD D5是一個5U的高性能、高密度和基于NAED閃存的機架級存儲，最多可以有36個閃存模塊，可以全裝或者半裝。DSSD D5提供了不同的配置，可以有36TB、72TB或者144TB的閃存容量。
DSSD的閃存模塊是雙端口的，PCIe Gen3的，是熱插拔的。DSSD有兩個控制模塊，提供了冗余。
DSSD有兩個I/O模塊，每一個IO模塊可以連接48臺冗余連接的主機。DSSD的控制模塊不用來處理I/O請求。
與應用程序的接口，是DSSD與其他解決方案最大的不同點。DSSD直接連接各種應用程序，根據傳統的應用程序特別是數據塊內的應用程序，DSSD提供了一個block drive，不需要修改I/O原代碼，直接訪問DSSD。對于Hadoop類的應用程序，DSSD提供了Hadoop的HBase插件。
DSSD增減了空間、時間的垃圾回收可靠性，閃存物理控制，增強了閃存的耐用性。客戶在尋求實時解決方案，EMC看到三類數據密集、性能密集的工作負載，受到傳統存儲瓶頸的影響最大。一類是高性能的數據倉庫，包括傳統的數據庫、Oracle、MPP、內存數據庫。另外一類是運行在HDFS上的高性能應用，SQL等等。第三類是定制應用。使用DSSD運行高性能的數據庫和數據倉庫，可以實時分析更大的數據級，并且不需要做過多的調整。
使用DSSD運行在HDFS上的高性能應用，可以使實時分析成為可能，并且可以獨立擴展計算和存儲。
使用DSSD用于定制應用，可以提供更好的帶寬密度，減少等待時間和增加分析。
DSSD可以達到1000萬的IOPS（5U系統），延遲100微秒，帶寬100GB/s，原始數據存儲容量144TB（可用容量100TB）。運行數據庫，與Oracle最快的存儲平臺相比，性能是Oracle的三倍，延遲是Oracle的1/3，總體擁有成本是Oracle的1/3。
在DSSD上運行Hadoop，只需要存儲一份數據就可以了，這與傳統的Hadoop解決方案相比，存儲容量僅是傳統解決方案的1/3，速度是傳統解決方案的10倍。
DSSD可以用于各行各業，可以用于信用卡的欺詐甄別，金融的風險分析，可以用于預測建模，流數據的近實時分析，還可以用于金融的交易建模，政府的設計仿真，石油天然氣的抽取模擬網格，生命科學研究等定制應用。
在信用卡實時分析方面，過去由于沒有能力快速地分析，可能只能分析少量的字段，來判斷這筆交易是正常交易還是欺詐交易。有了DSSD，可以在更短的時間分析更多的字段，來分析這筆交易是否是正常交易還是欺詐交易。一家公司使用DSSD支持欺詐分析，使欺詐的金額降低了25%。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%