《安創(chuàng)“芯”視野》第30期，邀請到亞馬遜云科技機(jī)器學(xué)習(xí)高級產(chǎn)品經(jīng)理李媛，她為大家介紹了如何借助亞馬遜云科技的AI/ML服務(wù)，在沒有機(jī)器學(xué)習(xí)專業(yè)團(tuán)隊的情況下輕松打造IPC的AI能力，開啟產(chǎn)品及運(yùn)營創(chuàng)新模式。

（以下是分享內(nèi)容整理）

大家好。我是李媛，來自亞馬遜云科技，負(fù)責(zé)機(jī)器學(xué)習(xí)產(chǎn)品方向。很高興能夠有機(jī)會和安創(chuàng)加速器生態(tài)的各位朋友一起交流，如何在IPC行業(yè)里運(yùn)用一些開箱即用的AI服務(wù)為IPC產(chǎn)品增加創(chuàng)新。

在智能攝像頭領(lǐng)域，無論是IP Camera或者是Smart Camera，相信大家都并不陌生。在亞馬遜電商平臺搜索IP Camera或者Smart Camera，就會看到各式各樣的攝像頭。其中主要有兩類形態(tài)，一類是我們常說的智能攝像頭，另一類是目前非常流行的產(chǎn)品形態(tài)—智能門鈴，即Smart Doorbell。

一份來自IDC的關(guān)于智能硬件的調(diào)查數(shù)據(jù)顯示，在2019年到2024年的出貨量預(yù)測里，智能家居硬件的出貨量是呈現(xiàn)逐年遞增的趨勢。其中，占比最大的是Smart Camera，其次是智能門鈴。特別是從每年的年均復(fù)合增長率來看，智能門鈴的年均出貨率增長率是非常高的，年均可以達(dá)到35%。所以，這個行業(yè)在全球市場有著非常廣闊的機(jī)會。在全球的IPC產(chǎn)品里，涌現(xiàn)了很多國內(nèi)出海的品牌以及來自海外的品牌，特別是在中國長三角和珠三角地區(qū)，有著非常多的IPC公司。

雖然有著巨大的市場機(jī)會，但由于玩家眾多、頭部品牌逐漸形成、以及硬件產(chǎn)品同質(zhì)化等原因，這就使得行業(yè)里一些現(xiàn)存企業(yè)不得不在激烈競爭的市場環(huán)境中尋找更多突破：例如，如何從軟件端和硬件端去提高產(chǎn)品的競爭力、越來越重視IPC后端的運(yùn)營能力、如何降低現(xiàn)有成本支出從而控制成本。亞馬遜云科技有非常多的IPC客戶都在不斷地探索新的利潤點，以便在一個非常大，同時同質(zhì)化競爭又非常嚴(yán)重的行業(yè)里尋找最容易做出一些差異性的方面去做創(chuàng)新，找尋新的利潤增長點。

在IPC行業(yè)，常見的云端創(chuàng)新場景大體可以分為兩大類：一類是在產(chǎn)品本身的功能點或者是特性上去做一些創(chuàng)新，比如增加一些AI的智能識別功能或者是智能語音。因為在人機(jī)交互里，語音是最自然的方式。在AI領(lǐng)域，很多不同企業(yè)都做了不同的探索。比如，一些海外的家居安防企業(yè)做了人形檢測、車輛檢測以及快遞包裹檢測等等。對于這些公司來講，AI產(chǎn)品就是一個額外的盈利點。在智能語音方面，有很多深圳的智能語音公司生產(chǎn)了大量的智能硬件，并且接入了Alexa這個平臺。無論是智能燈還是耳機(jī)，人們都可以通過語音去做控制，這也是一個常見的應(yīng)用。這些都是在產(chǎn)品功能方面做出的創(chuàng)新。

另一類創(chuàng)新是基于數(shù)據(jù)領(lǐng)域的創(chuàng)新或者是基于數(shù)據(jù)領(lǐng)域的一些精細(xì)化運(yùn)營和探索。比如，基于IoT的直連數(shù)據(jù)、云端存儲或者是使用行為規(guī)律數(shù)據(jù)；還有，比如在客服領(lǐng)域，針對用戶的使用做分析，分析退貨率或者差評究竟來自于哪里，或者是一些設(shè)備的故障可能出現(xiàn)在哪里。基于這樣的前提在設(shè)備使用過程中，對其本身的很多數(shù)據(jù)去構(gòu)造一個云上即數(shù)據(jù)湖，從而挖掘數(shù)據(jù)的價值。這是另外一類做IPC云端創(chuàng)新的場景。就目前來看，這個行業(yè)是機(jī)遇與挑戰(zhàn)并存的，現(xiàn)在越來越多的廠商也都在探索一些創(chuàng)新功能點以及基于數(shù)據(jù)的精細(xì)化運(yùn)營以使得自己在競爭里獲得一些優(yōu)勢。

在IPC行業(yè)里，一個叫做Ring的公司的一些產(chǎn)品，就代表了針對To C端當(dāng)下比較有代表性的創(chuàng)新產(chǎn)品形態(tài)。譬如非常極致地利用云帶來了一些包括云存、視頻回放以及動作捕捉、識別陌生人寵物快遞人員、幫助判斷是家人來了可以開門等等諸多功能。而這些功能背后其實都離不開云端的AI能力。

對于在AWS上做一整套的IPC端到端的解決方案，大家不要覺得這好像很復(fù)雜，其實都是一部分一部分來逐步部署的。這里分了幾類，一類是基于KVS（KVS就是Kinesis Video Streams，是AWS平臺上一個完全托管的流媒體服務(wù)，可以把視頻流設(shè)入到云端），它包括了基于KVS去實現(xiàn)IPC云端的存儲和回放、基于WebRTC來實現(xiàn)一些實時通訊、基于一些語音功能去跟Alexa做交互、基于S3做存儲、還有一些數(shù)據(jù)分析、基于云端的AI方案等等。由此可見，整套方案里確實包含了很多部分，但今天我們就主要講AI這一部分。

那么具體是如何實現(xiàn)基于云端的AI呢？左邊是一個攝像頭端側(cè)。端側(cè)的視頻流一方面會基于KVS推流到云端，另一方面會在端測做動作識別即motion detection。檢測到這個motion之后，會抽取視頻流的關(guān)鍵幀，把關(guān)鍵幀的圖片或者短視頻片段送到云端去做AI分析。而AI分析的部分通常會有兩種做法，一種是通過API調(diào)用方式直接調(diào)用開箱即用的服務(wù)Rekognition，另一種是企業(yè)自己構(gòu)建AI模型并托管在機(jī)器學(xué)習(xí)平臺 SageMaker上。它們在云端會去做一些AI分析，例如：是否檢測到陌生人還是家人，或者是否檢測到出現(xiàn)人臉、寵物、包裹、動作等等。

關(guān)于AI的實現(xiàn)部分，上圖是AWS平臺上機(jī)器學(xué)習(xí)服務(wù)的一個三層技術(shù)堆棧。如果有IPC廠商是剛開始接觸AI，或者只是想要在它們的業(yè)務(wù)場景里給攝像頭增加AI功能。那么，位于最上層的這些人工智能服務(wù)就適合于那些還沒有自己的專業(yè)機(jī)器學(xué)習(xí)團(tuán)隊，但卻想給產(chǎn)品或者業(yè)務(wù)增加AI能力的企業(yè)；中間的SageMaker是機(jī)器學(xué)習(xí)平臺，它是供算法人員或者開發(fā)人員使用的，以便提高他們在開發(fā)機(jī)器學(xué)習(xí)模型以及部署時的效率；此外，一些公司有著非常專業(yè)的龐大AI團(tuán)隊，那他們就可以利用最下層的基礎(chǔ)設(shè)施層來完成其機(jī)器學(xué)習(xí)的任務(wù)。

人工智能服務(wù)

這層服務(wù)有幾個特點。一是完全托管、開箱即用。我們可以看到，這些服務(wù)覆蓋了視覺、語音、文本等等各種領(lǐng)域。在實際使用過程中，只需要通過一個簡單的API 調(diào)用就可以使用了。此外，這一層的很多服務(wù)，無論Rekognition或是像Comprehend在做自然語言理解服務(wù)時，也支持在標(biāo)準(zhǔn)API服務(wù)之外進(jìn)行一些定制開發(fā)。還有一類AI服務(wù)，是跟應(yīng)用相關(guān)的服務(wù)。比如個性化推薦Amazon Personalize，是基于亞馬遜電商的技術(shù)，這相當(dāng)于一個自動學(xué)習(xí)工具，你可以用自己的數(shù)據(jù)去訓(xùn)練出一個你自己專有的模型，并且它不需要專業(yè)機(jī)器學(xué)習(xí)人員來做這個事情。最后，這層的AI服務(wù)有些是深入行業(yè)的端到端解決方案，比如工業(yè)領(lǐng)域的5項AI服務(wù)和醫(yī)療健康領(lǐng)域的服務(wù)。

Amazon Rekognition： 圖像及視頻服務(wù)

Rekognition分為兩部分，一個叫Rekognition Image，是圖像處理服務(wù)；一個叫Rekognition Video，是視頻服務(wù)。我們來看一下Rekognition有哪些功能。左上角最基本的功能叫對象與場景檢測，它可以識別圖像里有哪些物體以及是什么樣的場景，還能做一些行為檢測。第二個功能在很多UGC場景或者很多media場景里使用得非常多。它能夠檢測圖片里可能的存在一些不安全內(nèi)容比如情色、暴力、煙酒、不當(dāng)?shù)淖诮虄?nèi)容等等，應(yīng)用于需要對內(nèi)容進(jìn)行審核的情況。這在短視頻或是圖片社交等領(lǐng)域幾乎是一個必備的功能。第三個是面孔檢測與分析。它會檢測一張圖片里是否含有人臉，并且給出這張人臉的一些信息，例如他的表情、年齡段以及五官位置等信息。最右邊是名人識別功能，Rekognition產(chǎn)品團(tuán)隊本身有一個非常大且不斷完善的名人庫。如果我們給到一張含有一個名人的圖片，它會告訴你這個名人是誰。第二行第一個是面孔比較與查找，即去做一些身份識別以及身份認(rèn)證工作。其次是識別圖片中的文字，比如對一些車牌或者駕照信息或者是對身份證上的文字做提取。接著是個人防護(hù)裝備檢測，即PPE檢測，最開始較多應(yīng)用于一些生產(chǎn)制造場景或者有安全著裝需要的場合里。在這種場合下，你可以根據(jù)實際需求設(shè)置比如佩戴口罩是必須的或者說頭盔和手套都是必須的，那它就會去檢測工人們是否佩戴了這些必須裝備，同時也會告訴你其佩戴是否正確，因為有可能圖片里確實有一個頭盔，但是頭盔不是戴在人的頭上，那么這就是一個不安全的著裝。這時它會告訴你兩個點：一是是否佩戴了，二是是否佩戴到了正確且合適的位置。接著的功能叫Custom Labels，自定義標(biāo)簽。目前Rekognition標(biāo)準(zhǔn)API支持2000多種標(biāo)簽，但是物體那么多，難免存在一些特殊情況。比如，在特定的行業(yè)領(lǐng)域或者特定的環(huán)境下，需要被識別的標(biāo)簽沒有在標(biāo)準(zhǔn)API里面，這時就可以利用自定義標(biāo)簽這個功能去定義需要被識別的標(biāo)簽。最下面3個功能是Rekognition Video特有的。在視頻場景里，除了可以檢測上面的這些內(nèi)容，它還有幾個在視頻方面特有的功能。比如，在視頻里我們可能會有一些提示幀用來提示該在哪些地方插入廣告，或者在視頻里需要做軌跡檢測之類的。這時候，在Rekognition video里，它都可以開箱即用，從而去進(jìn)行分析。

IPC場景會涉及到的功能

第一個是對象與場景檢測，這在IPC里用得最多。無論我們?nèi)プ鋈诵螜z測還是去做車輛檢測都會用到這個功能。它的使用過程其實就是一個簡單的API調(diào)用。比如，只需要提供一張圖片就能拿到一個這張圖里關(guān)于物品和場景檢測結(jié)果的信息， 里面包含了檢測到的標(biāo)簽以及它的置信度。因為對象檢測會出現(xiàn)一些需要自定義的標(biāo)簽，這時就可以用Custom Labels。現(xiàn)在Custom Labels可以支持單標(biāo)簽分類，比如應(yīng)用在生鮮超市場景里去區(qū)分哪些是半成品食品，哪些是生鮮食品；也可以支持給圖片打多種標(biāo)簽的分類；同時，通過給不同的對象標(biāo)出bounding box也能實現(xiàn)對象識別。就在IPC企業(yè)里的使用頻率而言，對象檢測是使用非常多的。

第二類是面孔檢測與分析。面孔分析這個API本身會告訴你這是男性還是女性、他的年齡段、他的表情、是否戴了眼鏡之類的。對于有圖片集的場景來講，就可以根據(jù)這些圖片信息去做特定的檢索，比如檢索微笑場景，然后去制定特定的相冊合集或者回憶相冊。

還有一類IPC使用比較多的場景是用作身份識別。這會包括兩種細(xì)分情況，一種是在人像集中進(jìn)行搜索比較，另一種是人和證件的比對。對于在大型集會等需要對人員進(jìn)行管控的場景，它的實現(xiàn)手段是在后臺把畫面里的人臉和一個人臉集做比較。例如，關(guān)于預(yù)先登記是有一個face collection集合的，那如果要判斷是否有進(jìn)行預(yù)先登記，就可以把這張人臉與既有的集合做比對，從而做出身份識別。另外一種使用場景是人證比對。比如，去年疫情導(dǎo)致很多有遠(yuǎn)程考試的機(jī)構(gòu)需要進(jìn)行在線身份核驗，它使用的是人和證的比較，所以它其實應(yīng)用的是Rekognition后面的 Compare Faces這個API來實現(xiàn)人和證的比較的。

此外，像前面提到的考試證件識別場景，除了基于人臉的比對信息，可能很多時候還需要去收集這個人的一些證件信息例如駕照信息、身份證信息或者是護(hù)照信息。那么，就可以直接識別圖片里面的文本信息從而在數(shù)據(jù)庫里進(jìn)行存儲，就不再需要像從前一樣做手動輸入了。這也是Rekognition文本識別功能可以做到的。

在工業(yè)領(lǐng)域的AI服務(wù)

除了消費場景下的IPC，在工業(yè)領(lǐng)域也有越來越多基于智能攝像頭的應(yīng)用。我們來看下上面的這個工業(yè)AI服務(wù)領(lǐng)域。左邊的Panorama有兩個服務(wù)，它有一個硬件設(shè)備，也提供一個SDK。它與右邊的Lookout for Vision都是和計算機(jī)視覺相關(guān)的。中間兩個工業(yè)服務(wù)Monitron和Lookout for Equipment是對設(shè)備傳感器數(shù)據(jù)進(jìn)行異常發(fā)現(xiàn)以及預(yù)測性維護(hù)的。關(guān)于IPC相關(guān)的工業(yè)領(lǐng)域攝像頭，它會涉及到這兩個框里的服務(wù)，即Panorama和Lookout for Vision。

Lookout for Vision這個服務(wù)的名字有點長。其實Lookout是小心的意思，它是用來做工業(yè)質(zhì)檢的。也就是說，在工業(yè)生產(chǎn)環(huán)境或者是在一些制造業(yè)、零售業(yè)等各種不同的工業(yè)場景下，可以通過視覺圖片來檢測它的一些缺陷。因為其實質(zhì)檢對于比如汽車或者半導(dǎo)體等相關(guān)行業(yè)來說都是非常重要的一個環(huán)節(jié)，相較于人工檢查，利用機(jī)器做檢查的好處更明顯：一來機(jī)器不用下班，二來機(jī)器的效率比較高，三來檢查結(jié)果的一致性也比較強(qiáng)。Lookout for Vision其實是一個AI SaaS服務(wù)，它的使用方式與前面的Rekognition的Custom Labels功能非常類似。比如，對于正常的圖片，我們會給它一些正常圖片的數(shù)據(jù)集；對于異常的圖片，會給一些異常的數(shù)據(jù)集。那么，基于這個，它就能自己學(xué)習(xí)出一個模型來。其中的好處是它需要的數(shù)據(jù)非常少，最少30張就可以開始構(gòu)建模型進(jìn)而檢測模型的效果。

這是在工業(yè)領(lǐng)域通常使用比較多的場景類型的幾個例子。一是生產(chǎn)線上的缺陷檢測，檢測它是否有劃痕或者錯位之類的；另外一個是零部件缺失的檢測，比如說我們在裝藥品膠囊的時候可能有某個沒有裝到，或者做一些輸液包的時候可能會出現(xiàn)有氣泡的情況，這時通過視覺就能檢測出它的異常；它還能解決產(chǎn)品一致性的問題，比如說右邊的銅纜出現(xiàn)了產(chǎn)品不一致的情況，都可以通過這種 AI服務(wù)很方便地來實現(xiàn)。

機(jī)器學(xué)習(xí)服務(wù)

那么，除了標(biāo)準(zhǔn)服務(wù)外，企業(yè)可能會有一些需要自己定制的服務(wù)。比如，想要做老人摔倒的檢測或者做嬰兒快要爬出床的檢測，這時候，企業(yè)就會需要自己去構(gòu)建模型。對于需要自己構(gòu)建模型的企業(yè)，亞馬遜云也有一個PaaS機(jī)器學(xué)習(xí)平臺服務(wù)叫SageMaker。SageMaker可以提供非常大的靈活性，一方面它提供給你非常大的構(gòu)建模型的靈活性，另一方面它又極大地提高了算法科學(xué)家構(gòu)建整個機(jī)器學(xué)習(xí)的效率。SageMaker平臺里面的功能組件非常多，也是我們非常重要的一個服務(wù)，而且每一年都會不斷地更新迭代出更多新的產(chǎn)品功能。

大致來說，它的功能可以分成四個階段，這與機(jī)器學(xué)習(xí)的項目周期是一致的，即從數(shù)據(jù)準(zhǔn)備，到模型構(gòu)建，模型訓(xùn)練，超參數(shù)調(diào)優(yōu)，再到模型部署與管理。SageMaker在每一步都有相應(yīng)的功能組件提供給大家使用，以便提高我們在機(jī)器學(xué)習(xí)開發(fā)的效率。

幾個關(guān)鍵功能

首先介紹的功能是數(shù)據(jù)標(biāo)注。如果要企業(yè)自己構(gòu)建模型，非常重要的一步就是要準(zhǔn)備數(shù)據(jù)集，并且給這些數(shù)據(jù)打標(biāo)簽。無論是做分類、做目標(biāo)檢測還是畫bounding box，都需要給數(shù)據(jù)打標(biāo)簽。只有基于打過標(biāo)簽的數(shù)據(jù)集做機(jī)器學(xué)習(xí)才能構(gòu)建出模型。但是，給數(shù)據(jù)打標(biāo)簽向來是一個非常煩瑣且非常花時間的任務(wù)，尤其當(dāng)你的數(shù)據(jù)集非常大的時候。SageMaker的打標(biāo)簽工具叫做Ground Truth。Ground Truth支持幾種不同的使用方式。一方面，它內(nèi)置了一個打標(biāo)簽的工作流，可以讓我們自己內(nèi)建的私有團(tuán)隊來打標(biāo)簽，無論是公司內(nèi)部的人還是我們自己指定的人都可以。另一方面，它支持亞馬遜Mechanical Turk眾包平臺。或者你也可以通過AWS Marketplace去尋找這種合作商。這些都是通過人力的方式實現(xiàn)的，但是它還有一個非常好用并且受到我們很多客戶喜歡的功能，即自動打標(biāo)簽功能。比如要打10萬張甚至上百萬張圖片的時候，這對于很多頭部客戶來說是非常常見的。這時候全部靠人力來完成其實挺花時間的，但如果啟動這個自動標(biāo)記功能的話，它會基于前面打標(biāo)簽的部分結(jié)果去自己訓(xùn)練出一個模型，然后通過模型用機(jī)器的方式去打標(biāo)簽，從而降低數(shù)據(jù)標(biāo)記的成本。

這是Ground Truth標(biāo)記任務(wù)的幾種類別。對于圖片任務(wù)，它支持圖像分類、邊界框語義分割；也支持文本分類、命名實體；另外也可以自定義打標(biāo)簽的任務(wù)。像前面提到的基于小量數(shù)據(jù)集很快進(jìn)行自動化訓(xùn)練模型的比如Rekognition 的Custom Labels或者 Lookout for Vision，它們都跟Ground Truth有非常好的集成。如果數(shù)據(jù)本身已經(jīng)用Ground Truth打好標(biāo)簽了，就能很方便地導(dǎo)入到Custom Labels直接開始自動化訓(xùn)練。所以，這是自己構(gòu)建模型時非常重要的一個步驟，也是 SageMaker的功能之一。

根據(jù)業(yè)務(wù)需求和團(tuán)隊組成選擇不同算法來源

既然是自己訓(xùn)練模型就有算法選擇問題。SageMaker它可以支持4種方式。第一種是內(nèi)置算法。我們在SageMaker里提供了不同種類的內(nèi)置算法。比如與視覺相關(guān)的圖像分類或者對象檢測、語義分割，都有SageMaker內(nèi)置的算法，并且都跟SageMaker本身做過優(yōu)化和適配。第二種是支持把比如在GitHub上找到的一些開源算法直接放在SageMaker上來訓(xùn)練，會利用到它的免運(yùn)維和全托管的機(jī)器學(xué)習(xí)環(huán)境。再有就是也可以自己打一個docker。假設(shè)我們不是用常用的TensorFlow和PyTorch這些框架，我們有自己的框架，那也是可以支持的。最后一種是可以把在SageMaker的marketplace應(yīng)用市場上第三方的算法和模型直接調(diào)來在SageMaker上使用。而且，如果我們真的自己開發(fā)了一個很有意思或者很有價值的模型，那也可以放在第三方應(yīng)用市場上進(jìn)行售賣，也算是增加一個創(chuàng)新性的收入來源。

既然是自己訓(xùn)練模型就有算法選擇問題。SageMaker它可以支持4種方式。第一種是內(nèi)置算法。我們在SageMaker里提供了不同種類的內(nèi)置算法。比如與視覺相關(guān)的圖像分類或者對象檢測、語義分割，都有SageMaker內(nèi)置的算法，并且都跟SageMaker本身做過優(yōu)化和適配。第二種是支持把比如在GitHub上找到的一些開源算法直接放在SageMaker上來訓(xùn)練，僅僅會利用到它的免運(yùn)維和全托管的機(jī)器學(xué)習(xí)環(huán)境。再有就是也可以自己打一個docker。假設(shè)我們不是用開源的或者常用的TensorFlow和PyTorch這些框架，我們有自己的框架，那也是可以支持的。最后一種是可以把在SageMaker的marketplace上第三方的算法和模型直接調(diào)來在SageMaker上使用。而且，如果我們真的自己開發(fā)了一個很有意思或者很有價值的模型，那也可以放在第三方應(yīng)用市場上進(jìn)行售賣，也算是增加一個創(chuàng)新性的收入來源。

在算法和模型訓(xùn)練之后，就會存在在線推理集群問題。訓(xùn)練好一個模型，然后用圖片來進(jìn)行分析，這個過程通常叫推理。推理時通常需要考慮的問題就是根據(jù)攝像頭在全球不同國家出貨量非常大的情況和它們波峰波谷的使用情況需要做到集群的彈性伸縮等等。這時候，在SageMaker上去部署這個推理集群就很簡單了，只需一鍵就可以實現(xiàn)彈性伸縮和高可用的部署。并且，還有一個非常重要的功能就是我們在更新模型的時候會去做一些A/B測試，基于SageMaker做A/B測試也非常簡單。此外，因為IPC公司的創(chuàng)新性都非常強(qiáng)，所以客戶可能會有多個模型，比如他可以支持他的每個終端的C端用戶都有一個自己的模型，那對他來講，最后他就會有成千上萬個模型。如果按照常規(guī)的部署模型的方式，假設(shè)一個模型是一臺集群，那成千上萬個模型就是成千上萬個集群，這個成本是非常高的。但是，在SageMaker的end point即終端節(jié)點上，它有一個非常好用的功能就是它在一個終端節(jié)點可以支持部署大量的模型實現(xiàn)模型的自動輪替，這就相當(dāng)于他的多個模型都可以部署在一個節(jié)點上，從而極大地降低了他們模型在線推理時的成本。

在邊緣端應(yīng)用的功能組件

可能在工業(yè)場景下或者在一些特殊要求的場景下，模型需要部署在邊緣端。當(dāng)我們在邊緣端進(jìn)行部署比如說把模型部署在掃地機(jī)器人上或者部署在一些車內(nèi)的攝像頭去做駕駛行為分析的時候，一個很重要的問題是邊緣端的算力和內(nèi)存與云端是不太好相比的。另外，邊緣端的硬件設(shè)備也是各種各樣的，需要去做適配。但是，SageMaker有一個叫做Neo的功能組件，它可以支持我們把云端的模型進(jìn)行編譯從而適配到不同的硬件和邊緣設(shè)備。它的好處是經(jīng)過一次編譯就可以在多個硬件平臺運(yùn)行；并且在最優(yōu)的情況下它可以在不影響模型精度的情況下將運(yùn)行速度提高25倍，同時使用的資源也能優(yōu)化到原來的1/10大小。如此一來，就可以很好地適配邊緣端比較小的內(nèi)存和算力了。

還有一種場景是說我們在邊緣端運(yùn)行模型的時候，每個模型都需要一個自己的獨立運(yùn)行時。如果單個計算空間只用一個模型，會造成這些空間不太充裕。而且，我們在完成一個任務(wù)的時候有可能是需要多個模型組合的，比如一個掃地機(jī)器人可能需要先去檢測到這是什么環(huán)境，然后再去輪轉(zhuǎn)另外一個模型，這是非常正常的。這時候，在每個設(shè)備上運(yùn)行多個模型要怎么做呢？SageMaker有一個叫做Edge Manager的功能組件，它會在邊緣端部署一個agent。這個agent占比非常小，但是可以實現(xiàn)對邊緣設(shè)備的有效管理。此外，我們在機(jī)器學(xué)習(xí)領(lǐng)域非常常見也經(jīng)常遇到的一個問題就是模型不是一成不變的。不是說部署了這個模型后就永遠(yuǎn)是這個模型了，很有可能過一段時間后因為外部或者內(nèi)部環(huán)境的變化我們需要更新模型。那怎么對邊緣端的模型進(jìn)行監(jiān)測以及收集反饋數(shù)據(jù)重新進(jìn)行模型的迭代更新呢？那么，Edge Manager同樣也可以有效地實現(xiàn)這個需求。SageMaker的Edge Manager其實就是實現(xiàn)對在邊緣端運(yùn)行的大量模型的有效管理。

那么，為了幫助大家快速、零成本起步實踐這些云上的AI服務(wù)，針對初創(chuàng)企業(yè)，我們有一個專門給到初創(chuàng)企業(yè)的福利包，叫做云創(chuàng)計劃。我們和安創(chuàng)加速器就云創(chuàng)計劃的合作也非常順利。如果您的企業(yè)是初創(chuàng)企業(yè)，那您可以掃描這個二維碼，去注冊申請云創(chuàng)計劃大禮包。它含有一個最高17.5萬人民幣的AWS云服務(wù)抵扣券。

在今天活動的最后，也跟大家分享一下即將到來的亞馬遜云科技中國峰會。今年我們分別會在上海、北京和深圳三地舉辦，都是線下活動。上海和北京的活動都是萬人規(guī)模的，同期北京還會有線上活動。如果大家對云計算、AI或者數(shù)據(jù)分析等領(lǐng)域有興趣想要深入學(xué)習(xí)，或者是聽取別的企業(yè)的成功經(jīng)驗的話，都可以掃描這個二維碼注冊并查看大家感興趣的內(nèi)容。

以上就是我今天的分享內(nèi)容。
? ? ? ?責(zé)任編輯:tzh