上周,全志生態(tài)的小伙伴們成功在全志A733和T527的SoC平臺(tái)上實(shí)現(xiàn)了DeepSeek-R1-Distill-Qwen-1.5B模型的部署,充分驗(yàn)證了高算力平臺(tái)在端側(cè)部署AI推理上的潛力。今天我們帶來一款全志新的視覺芯片V821,通過網(wǎng)絡(luò)接入的方式打通DeepSeek-R1滿血版模型和豆包視覺大模型,并展示其語言和視覺交互的能力和多樣性。
相較于大模型的端側(cè)部署,云端大模型對(duì)端側(cè)硬件算力、存儲(chǔ)資源等要求較低,以極佳的成本代價(jià)就可以體驗(yàn)到模型最佳的性能表現(xiàn),覆蓋更多的場(chǎng)景形態(tài)。本地設(shè)備將文字,語音,圖像等相關(guān)數(shù)據(jù)通過網(wǎng)絡(luò)上傳,憑借云端大模型對(duì)數(shù)據(jù)的分析和推理海量數(shù)據(jù)的分析和推理能力,并結(jié)合網(wǎng)絡(luò)搜索的信息,更好地,更加準(zhǔn)確地,更加快速地做出判斷和反饋,大幅提升應(yīng)答速度和輸出的準(zhǔn)確率。
全志本次在V821平臺(tái)上基于豆包視覺大模型和DeepSeek語言大模型API實(shí)現(xiàn)了完整的大模型接入套件,讓V821具備了語言交互及圖像識(shí)別等豐富能力,讓開發(fā)者更容易實(shí)現(xiàn)大模型的應(yīng)用,極大的方便了基于V821的智能產(chǎn)品的開發(fā)與拓展。
V821豆包視覺大模型實(shí)時(shí)采集圖像進(jìn)行物品識(shí)別示例:
下面的視頻展示V821接入DeepSeek語言大模型,支持多輪對(duì)話+流式輸出功能:
通過以上的兩段演示可以發(fā)現(xiàn),在有了接入套件所提供的便利后,云端部署的大模型的運(yùn)行達(dá)到了“滿血”狀態(tài),無論是物品識(shí)別還是多輪持續(xù)對(duì)話都有很快的輸出,確保在微型化設(shè)備算力資源受限的情況下,也能流暢自然地使用大模型,實(shí)現(xiàn)本地設(shè)備與云端AI結(jié)合。
V821是一顆高集成度的低功耗WiFi視覺SOC,集成了高性能ISP和H.264、JPEG編碼單元,同時(shí)內(nèi)置了WiFi,因此可以很方便的接入AI視覺大模型,快速實(shí)現(xiàn)微型化、高清視頻、云端AI結(jié)合、低功耗一體化的視覺產(chǎn)品落地。
V821簡(jiǎn)要規(guī)格如下:
通用算力:CPU RISC-V 1GHz + MCU RISC-V 600MHz
視頻輸入:1x2lane/2x1lane MIPI-CSI + 支持一路并口CSI
視頻引擎:支持H.264最大3072x3072;MJPEG最大8192x8192;支持雙目1920x1080@15fps + 640x480@15fps
WiFi(內(nèi)置):WiFi4 單頻2.4GHz + 低功耗版本保活功耗180uA(DTIM10)
其他接口:支持一路音頻輸出/一路音頻輸入 + 3xSPI / 3xTWI / 4xUART / 12xPWM / 2xSDIO
全志推出的最新大模型套件,可以無縫切換各種主流大模型。各大模型官方提供的接入示例多是python、java等語言實(shí)現(xiàn),而全志的套件使用純C語言實(shí)現(xiàn),內(nèi)存資源占用少,可方便應(yīng)用在全志平臺(tái)Tina Linux系統(tǒng)和Tina RTOS系統(tǒng)上。目前,該套件已集成到V821 SDK中,會(huì)于2月底隨V821 SDK V1.1發(fā)出,屆時(shí)歡迎各位開發(fā)者升級(jí)體驗(yàn)。
使用全志提供的大模型接入套件,只需要簡(jiǎn)單的2個(gè)步驟即可接入豆包視覺大模型。
步驟1:調(diào)用lm_init函數(shù)進(jìn)行初始化大模型
typedef struct { const char *url; const char *model; const char *api_key; } lm_config; int lm_init(lm_config *config, lm_handle *handle);
初始化需要填充大模型的URL、模型、API key參數(shù)。參數(shù)的獲取可在各大模型官網(wǎng)進(jìn)行注冊(cè)賬號(hào)后獲得,具體可參考各大模型官方的說明文檔,本文接入的是豆包視覺大模型,可參考以下鏈接獲取參數(shù)信息:
https://www.volcengine.com/docs/82379/1362931
步驟2:調(diào)用lm_generate函數(shù)訪問大模型。
typedef int (*lm_outputcallback)(char* token, void* user_data); typedef struct { char *content; prompt_image *img; } lm_prompt; int lm_generate(lm_handle handle, lm_prompt *prompt, lm_outputcallback cb, void *user_data);
prompt為輸入的提示詞,其帶有兩個(gè)參數(shù),content表示輸入的文本,img為輸入的圖片數(shù)據(jù);cb為用戶注冊(cè)的回調(diào)函數(shù),當(dāng)接收到云端大模型返回?cái)?shù)據(jù)時(shí)會(huì)回調(diào)該函數(shù)將token信息輸出。
按照以上部署方式使用該套件到V821上,還可以支持DeepSeek的多輪對(duì)話和流式輸出。所謂“多輪對(duì)話”(Multi-turn Dialogue)是指大模型在與用戶交互時(shí),能夠理解并記住對(duì)話歷史,并根據(jù)上下文信息持續(xù)生成符合邏輯的連貫回復(fù)的能力,而流式輸出是在云端大模型生成token回應(yīng)時(shí)能夠?qū)崟r(shí)輸出,支持多輪對(duì)話與流式輸出的能力使得對(duì)話不再是孤立的“一問一答”,而是更接近人類自然交流的連續(xù)互動(dòng)。
全方位擁抱大模型生態(tài),已成為多產(chǎn)品線全面革新的主旋律。AI大模型的普及為產(chǎn)品落地帶來了更多元的玩法,全志將針對(duì)各產(chǎn)品線不同應(yīng)用場(chǎng)景的獨(dú)特需求,深度挖掘本地算力潛能,巧妙融合先進(jìn)云端技術(shù)方案,為用戶帶來更智能便捷的交互體驗(yàn),提升工作效率,營(yíng)造智慧生活,逐步推動(dòng)AI從前沿科技走向大眾生活,用智能硬件助力AI惠民愿景的落地生根。
-
視覺芯片
+關(guān)注
關(guān)注
1文章
45瀏覽量
11553 -
全志
+關(guān)注
關(guān)注
24文章
256瀏覽量
53418 -
大模型
+關(guān)注
關(guān)注
2文章
2796瀏覽量
3442 -
DeepSeek
+關(guān)注
關(guān)注
1文章
631瀏覽量
395
原文標(biāo)題:輕算力也能玩大模型,V821成功對(duì)接DeepSeek和豆包視覺大模型
文章出處:【微信號(hào):gh_79acfa3aa3e3,微信公眾號(hào):全志在線】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
聆思CSK6大模型語音開發(fā)板接入DeepSeek資料匯總(包含深度求索/火山引擎/硅基流動(dòng)華為昇騰滿血版)
機(jī)智云推出集成Deepseek和豆包大模型的AIoT開發(fā)平臺(tái)
EVASH芯片公司接入DeepSeek:AI驅(qū)動(dòng)的芯片設(shè)計(jì)革新
啟明智顯集成DeepSeek、豆包、OpenAI等全球先進(jìn)AI大模型,助力傳統(tǒng)產(chǎn)品AI智能升級(jí)

惠倫晶體全面接入DeepSeek等大模型技術(shù)

了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
【實(shí)測(cè)】用全志A733平板搭建一個(gè)端側(cè)Deepseek算力平臺(tái)
利用全志A733平板構(gòu)建端側(cè)DeepSeek算力平臺(tái)

海信星海大模型接入DeepSeek
deepin UOS AI接入DeepSeek-R1模型
字節(jié)跳動(dòng)發(fā)布豆包大模型1.5 Pro
PerfXCloud順利接入MOE大模型DeepSeek-V2

評(píng)論