對(duì)于AI企業(yè)來(lái)說(shuō)，GPU等計(jì)算資源昂貴，如何提高資源利用率，保護(hù)計(jì)算力投資？如何解決資源搶占，保證資源使用公平合理？如何減少等待時(shí)間，提高模型訓(xùn)練效率……這些問(wèn)題都關(guān)系著研發(fā)創(chuàng)新的進(jìn)度。且看浪潮AIStation人工智能開(kāi)發(fā)平臺(tái)用三招“組合拳”打破計(jì)算力壁壘，加速企業(yè)AI開(kāi)發(fā)進(jìn)程。

某企業(yè)AI開(kāi)發(fā)面臨的問(wèn)題

某企業(yè)有四臺(tái)8卡GPU服務(wù)器供50位開(kāi)發(fā)人員使用，典型的人多資源少。具體來(lái)說(shuō)，有以下幾大問(wèn)題：

人均不足一張GPU卡，GPU使用需要相互協(xié)調(diào)，開(kāi)發(fā)效率低；

每十多人為一個(gè)小組共用一個(gè)GPU節(jié)點(diǎn)，可能使有的小組資源空閑而有的小組卻無(wú)資源可用，造成資源孤島；

缺乏優(yōu)先機(jī)制，重要任務(wù)無(wú)法得到及時(shí)提交；

在白天GPU卡幾乎全部用于開(kāi)發(fā)環(huán)境創(chuàng)建，開(kāi)發(fā)人員只能在晚上提交訓(xùn)練任務(wù)，模型訓(xùn)練數(shù)量非常有限。

AIStation三招解決企業(yè)算力問(wèn)題

AIStation是面向AI企業(yè)開(kāi)發(fā)場(chǎng)景的人工智能資源平臺(tái)，可通過(guò)資源配額、GPU共享、排隊(duì)托管三招“組合拳”，智能化分配GPU計(jì)算資源，提高資源利用率，幫助用戶提高開(kāi)發(fā)效率。

首先，AIStation收攏分散的計(jì)算資源，提供集群式的池化管理，并設(shè)置資源配額策略，實(shí)現(xiàn)多用戶公平均衡使用資源。

AIStation將開(kāi)發(fā)用戶劃分為5個(gè)用戶組，每個(gè)用戶組10人，并根據(jù)業(yè)務(wù)需求設(shè)置每組和每個(gè)用戶的使用配額，如可設(shè)置每組使用6張GPU卡、40個(gè)CPU核。并對(duì)每個(gè)用戶的開(kāi)發(fā)環(huán)境使用時(shí)長(zhǎng)、同時(shí)提交任務(wù)數(shù)量進(jìn)行限制。

其次，AIStation通過(guò)GPU共享策略，可以讓多人共用一張GPU卡且互不影響。

AIStation統(tǒng)一管理4臺(tái)GPU節(jié)點(diǎn)，將其中2個(gè)節(jié)點(diǎn)的16張GPU卡設(shè)置為開(kāi)發(fā)資源組，用于開(kāi)發(fā)環(huán)境創(chuàng)建，剩下16張GPU卡為訓(xùn)練資源組，用于模型訓(xùn)練。通過(guò)共享策略，AIStation可將開(kāi)發(fā)資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來(lái)的16張GPU卡相當(dāng)于變?yōu)榱?28張卡。并且通過(guò)設(shè)置CPU超線程策略擴(kuò)展CPU核數(shù)，滿足50個(gè)用戶同時(shí)創(chuàng)建開(kāi)發(fā)環(huán)境的需求。用戶也可以根據(jù)自己的模型設(shè)置batchsize和顯存使用的大小。

GPU共享模式

最后，AIStation通過(guò)任務(wù)排隊(duì)托管、定義任務(wù)優(yōu)先級(jí)，充分利用空閑時(shí)間訓(xùn)練任務(wù)，并且可根據(jù)優(yōu)先級(jí)調(diào)度任務(wù)排隊(duì)運(yùn)行。

用戶可同時(shí)提交多個(gè)訓(xùn)練任務(wù)，資源不足時(shí)排隊(duì)等待，一個(gè)任務(wù)訓(xùn)練結(jié)束后自動(dòng)釋放資源給排隊(duì)等待的任務(wù)，從而可以充分利用夜間、周末訓(xùn)練任務(wù)，延長(zhǎng)GPU的使用時(shí)間。同時(shí)用戶可設(shè)置優(yōu)先級(jí)，讓重要任務(wù)優(yōu)先訓(xùn)練。

開(kāi)發(fā)用戶任務(wù)托管

AIStation取得顯著效果

GPU使用時(shí)間加大近1倍。原來(lái)單個(gè)GPU節(jié)點(diǎn)分配給一個(gè)用戶小組使用，每卡每天的平均使用時(shí)間僅為14.4小時(shí)。AIStation通過(guò)GPU共享、任務(wù)托管，解決資源孤島，將每卡每天的平均使用時(shí)間提升到22.8小時(shí)。

一天周期內(nèi)集群GPU使用情況

GPU利用率提升50%。原來(lái)用戶在開(kāi)發(fā)階段獨(dú)占一張GPU，GPU利用率僅為10%，訓(xùn)練階段可達(dá)90%，每天每卡的平均利用率為30%。使用AIStation后，開(kāi)發(fā)階段8人共用一張GPU卡，GPU利用率可上升為80%，訓(xùn)練階段為90%，每天每卡的利用率可達(dá)到80%。

GPU使用情況對(duì)比

每周訓(xùn)練任務(wù)的數(shù)量增大一倍多。假設(shè)提交一個(gè)ImageNet數(shù)據(jù)集和一個(gè)ResNet50模型，使用1張Tesla V100 GPU卡訓(xùn)練任務(wù)，每個(gè)任務(wù)的訓(xùn)練時(shí)間大概為12小時(shí)。

原來(lái)因?yàn)槿司粔蛞粡埧ǎ滋霨PU卡用于創(chuàng)建開(kāi)發(fā)環(huán)境，晚上才能訓(xùn)練任務(wù)，那么一個(gè)工作日可以完成的任務(wù)數(shù)最多為32個(gè)，即一周可以完成160個(gè)任務(wù)。

而AIStation支持任務(wù)排隊(duì)，可以最大限度的使用GPU資源。一周可以完成368個(gè)任務(wù)數(shù)，效率提升2.3倍。假設(shè)開(kāi)發(fā)團(tuán)隊(duì)單個(gè)項(xiàng)目平均需要訓(xùn)練的任務(wù)數(shù)為50，那么每個(gè)月的項(xiàng)目完成數(shù)從3個(gè)提升到7個(gè)。

可以看出，浪潮AIStation通過(guò)對(duì)計(jì)算資源的高效管理、調(diào)度，在GPU使用時(shí)間、利用率和訓(xùn)練任務(wù)數(shù)量上，相比原方案均實(shí)現(xiàn)了大幅提升，最大化地優(yōu)化了資源使用。

浪潮AIStation人工智能資源平臺(tái)面向AI企業(yè)開(kāi)發(fā)場(chǎng)景，致力于幫助企業(yè)構(gòu)建一體化的AI開(kāi)發(fā)平臺(tái)，為AI開(kāi)發(fā)工程師提供高效的計(jì)算力支撐、精準(zhǔn)的資源管理和調(diào)度、敏捷的數(shù)據(jù)整合及加速、流程化的AI開(kāi)發(fā)業(yè)務(wù)整合，助力AI企業(yè)提高開(kāi)發(fā)效率和產(chǎn)品上市速度，增強(qiáng)企業(yè)競(jìng)爭(zhēng)力。

除了高效的資源管理，AIStation在開(kāi)發(fā)環(huán)境創(chuàng)建、數(shù)據(jù)管理、開(kāi)發(fā)流程管理等方面也表現(xiàn)出色。在后續(xù)文章中，我們將結(jié)合實(shí)際應(yīng)用場(chǎng)景為大家詳細(xì)介紹，敬請(qǐng)關(guān)注。