急得滿頭大汗的小王看向悠閑喝茶的小李道:你怎么不緊不慢的?剛剛主任發(fā)的緊急任務(wù)做完了?
小李得意的說:這年頭,偷偷用一下AI就搞定啦~
一旁的小張插進(jìn)來:你還敢用!不怕安全部門找你啊!
小王聽罷,還是老老實(shí)實(shí)埋頭苦干吧。
隨著各種AI“超級(jí)助手”的不斷升級(jí),各行各業(yè)的員工使用其幫助提高工作效率的比例可能比想象中高得多。
根據(jù)微軟和領(lǐng)英聯(lián)合開展的一項(xiàng)調(diào)查顯示,自今年5月起到過去的6個(gè)月里,全球78%的知識(shí)型員工秘密地將自己的AI工具(BYOAI)帶入到工作中,且這一現(xiàn)象在中小型公司中更為常見(80%)。
雖然這種方式提高了效率,但難以忽視一些關(guān)鍵信息被放在公共模型中帶來的?險(xiǎn)。幸運(yùn)的是,眾多企業(yè)意識(shí)到采用人工智能的重要性,將重點(diǎn)轉(zhuǎn)向通過實(shí)施AI實(shí)現(xiàn)利益最大化的發(fā)展戰(zhàn)略。不過,在進(jìn)行訓(xùn)練階段又陷入了兩難:究竟在本地,還是云端更好呢?
有些企業(yè)選擇了云——能夠動(dòng)態(tài)調(diào)整計(jì)算資源以適應(yīng)訓(xùn)練變化的靈活性給眾多管理者會(huì)心一擊。其次,云端配備的高性能GPU、TPU等加速器,能夠高效處理大規(guī)模數(shù)據(jù)集和復(fù)雜模型,加快訓(xùn)練速度;易于訪問與協(xié)作、通常集成了多種自動(dòng)化工具和服務(wù)的云平臺(tái)也極大地簡化了開發(fā)流程;并且,由于無需維護(hù)硬件設(shè)施,在云端訓(xùn)練AI更具經(jīng)濟(jì)效益。
但是,在云端訓(xùn)練的缺點(diǎn)也不少:數(shù)據(jù)傳輸時(shí)可能消耗大量的時(shí)間和帶寬;盡管采取嚴(yán)格的安全措施,卻仍有隱私泄露的風(fēng)險(xiǎn);當(dāng)網(wǎng)絡(luò)延遲或中斷時(shí),可能中斷訓(xùn)練過程,影響效率;對(duì)于高度定制化的軟硬件需求有一定限制,且在模型訓(xùn)練好后,將模型部署到本地或其他環(huán)境時(shí),可能會(huì)遇到兼容性和優(yōu)化問題。
于是,一些企業(yè)選擇可以更好地控制數(shù)據(jù)與成本,具有網(wǎng)絡(luò)獨(dú)立性,可完全根據(jù)需求定制化硬件和軟件環(huán)境,并可直接監(jiān)控和調(diào)試訓(xùn)練過程、能夠無懼延遲及時(shí)反饋問題的本地部署。
然而,本地訓(xùn)練同樣存在一些問題——硬件資源固定、計(jì)算資源有限;需要定期維護(hù)與升級(jí)設(shè)備,增加額外的時(shí)間和成本負(fù)擔(dān);進(jìn)行大規(guī)模訓(xùn)練時(shí)可能增加能源消耗和冷卻成本;不便于協(xié)作等。
同時(shí)兼顧云和本地優(yōu)勢(shì)的混合云,或是最優(yōu)選。
采用混合云訓(xùn)練AI的一般步驟和考慮因素有:
●架構(gòu)設(shè)計(jì):設(shè)計(jì)一個(gè)能夠跨越本地?cái)?shù)據(jù)中心和公有云的混合云架構(gòu)至關(guān)重要。通常涉及構(gòu)建或利用現(xiàn)有的Kubernetes集群,確保本地集群與云服務(wù)商的容器服務(wù)兼容。
●數(shù)據(jù)管理與遷移:使用數(shù)據(jù)同步工具或服務(wù)在本地與云端之間高效地移動(dòng)或緩存數(shù)據(jù),確保數(shù)據(jù)一致性的同時(shí),也能根據(jù)訓(xùn)練需求動(dòng)態(tài)調(diào)整數(shù)據(jù)位置。
●模型開發(fā)與訓(xùn)練:在本地或云上開發(fā)AI模型,利用云服務(wù)商提供的AI開發(fā)平臺(tái)和工具進(jìn)行模型訓(xùn)練。可以在本地進(jìn)行初步測(cè)試和調(diào)試,然后利用公有云的彈性GPU資源進(jìn)行大規(guī)模并行訓(xùn)練。
●彈性資源擴(kuò)展:根據(jù)訓(xùn)練任務(wù)的需求,動(dòng)態(tài)擴(kuò)展公有云商的計(jì)算資源。如在需要大量計(jì)算是自動(dòng)或手動(dòng)增加云上GPU實(shí)例的數(shù)量,訓(xùn)練完成后釋放資源以降低成本。
●模型推理與部署:訓(xùn)練好的模型可以在混合環(huán)境中部署,既可以在本地進(jìn)行低延遲推理,也可以部署到公有云上,利用云服務(wù)的全球分布特性服務(wù)于不同地區(qū)的用戶。
●監(jiān)控與優(yōu)化:實(shí)施全面的監(jiān)控系統(tǒng),跟蹤模型訓(xùn)練過程中的資源使用情況、性能指標(biāo)和成本消耗,不斷優(yōu)化模型訓(xùn)練效率和成本效益。
●安全與合規(guī):確保在整個(gè)混合云架構(gòu)中實(shí)施嚴(yán)格的數(shù)據(jù)加密、訪問控制和合規(guī)措施,特別是在數(shù)據(jù)傳輸和存儲(chǔ)過程中,保護(hù)敏感信息不被泄露。
打通云上云下
讓“魚和熊掌兼得”
作為業(yè)界最靈活,最安全和高效的橫向擴(kuò)展文件存儲(chǔ)平臺(tái)之一,PowerScale是戴爾AI解決方案整體架構(gòu)中最重要的基礎(chǔ)。聚合了多個(gè)節(jié)點(diǎn)的性能,PowerScale可以完全滿足AI的存儲(chǔ)性能需求,不僅能夠增強(qiáng)模型訓(xùn)練加載GPU的性能,同時(shí)還能提供先進(jìn)的、經(jīng)過驗(yàn)證的可用性、數(shù)據(jù)保護(hù)、安全性和多租戶等功能。并且,由于能夠輕松擴(kuò)充數(shù)十PB,可大量并發(fā)、就地分析、自動(dòng)分層和簡單管理,PowerScale對(duì)于基于文本的模型訓(xùn)練或推理沒有明顯的瓶頸,十分適合AI模型訓(xùn)練。
此外,為了解決公司因多年來在數(shù)據(jù)中心、邊緣和云部署中構(gòu)建和使用多種不同類型的存儲(chǔ)、存儲(chǔ)設(shè)備而導(dǎo)致的“同時(shí)跨多個(gè)位置管理數(shù)據(jù)”難題,戴爾還全面推出了適用于Azure的戴爾APEX文件存儲(chǔ),不僅彌合了云存儲(chǔ)和AI驅(qū)動(dòng)的見解之間的巨大差距,還支持靈活支付費(fèi)用,為用戶提供極大的便利。
適用于Azure的戴爾APEX文件存儲(chǔ)的核心是戴爾PowerScale OneFS,通過將這個(gè)高性能橫向擴(kuò)展文件存儲(chǔ)解決方案引入Azure云,戴爾使用戶能夠更有效地整合和管理數(shù)據(jù),降低存儲(chǔ)成本并增強(qiáng)數(shù)據(jù)保護(hù)和安全性,同時(shí)利用原生云AI工具更快地獲得見解。
通過SyncIQ本機(jī)復(fù)制,它可將文件數(shù)據(jù)從本地設(shè)備快速、無風(fēng)險(xiǎn)、策略驅(qū)動(dòng)地遷移到云。由于OneFS軟件平臺(tái)在本地和Azure中是相同的,因此用戶無需對(duì)底層存儲(chǔ)架構(gòu)進(jìn)行任何更改。一旦進(jìn)入云,IT團(tuán)隊(duì)就會(huì)使用他們已熟悉的用戶界面、命令執(zhí)行界面(CLI)、API界面和身份管理,方便企業(yè)利用現(xiàn)有技能,減少管理數(shù)據(jù)和技術(shù)架構(gòu)所花費(fèi)的時(shí)間,降低管理復(fù)雜性。
適用于Azure的APEX文件存儲(chǔ)可在單個(gè)命名空間中支持多達(dá)18個(gè)節(jié)點(diǎn)和5.6PiB,可提供可擴(kuò)展性和靈活性,同時(shí)又不犧牲管理的簡易性,并可實(shí)現(xiàn):
● 集群性能提高6倍
● 命名空間大至11倍
● 每個(gè)卷最多可增加23倍快照
● 集群彈性提高2倍
● 橫向擴(kuò)展到252個(gè)節(jié)點(diǎn)
另外,APEX文件存儲(chǔ)直接與多種最常見的AI工具(包括Azure AI Studio)集成,利用原生AI工具來支持最苛刻的工作負(fù)載。適用于Azure的戴爾APEX文件存儲(chǔ)專為混合云和云爆發(fā)用例而設(shè)計(jì),無論是傳統(tǒng)IT工作負(fù)載還是尖端的人工智能應(yīng)用程序,它都具有最高的AI規(guī)模性能,將AI工作負(fù)載推向創(chuàng)新和效率的新高度。
結(jié) 語
在數(shù)字技術(shù)快速發(fā)展的時(shí)代,多云策略的需求從未如此明顯。通過更加靈活、安全、高效的解決方案,企業(yè)不僅能夠從容應(yīng)對(duì)挑戰(zhàn),還能以前所未有的速度驅(qū)動(dòng)業(yè)務(wù)增長。作為行業(yè)領(lǐng)導(dǎo)者,戴爾科技將繼續(xù)以領(lǐng)先的創(chuàng)新、全面的服務(wù),幫助企業(yè)更好地適應(yīng)AI時(shí)代。
-
戴爾
+關(guān)注
關(guān)注
5文章
630瀏覽量
39994 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4785瀏覽量
72145 -
AI
+關(guān)注
關(guān)注
87文章
30946瀏覽量
269190
原文標(biāo)題:訓(xùn)練AI在本地還是云端?
文章出處:【微信號(hào):戴爾企業(yè)級(jí)解決方案,微信公眾號(hào):戴爾企業(yè)級(jí)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論