作者：算力魔方創(chuàng)始人/英特爾邊緣計(jì)算創(chuàng)新大使 劉力

前面我們分享了《在算力魔方上本地部署Phi-4模型》，實(shí)現(xiàn)了在邊緣端獲得Llama 3.3 70B模型差不多的能力。本文將分享，在邊緣端獲得類似GPT4-V的能力：MiniCPM-V 2.6 。

MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B構(gòu)建，共8B參數(shù)。在最新版本 OpenCompass 榜單上（綜合 8 個(gè)主流多模態(tài)評測基準(zhǔn)）平均得分 65.2，以8B量級的大小在單圖理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用閉源多模態(tài)大模型。

本文將分享MiniCPM-V 2.6 8B模型在算力魔方?4060版上的部署過程。

一，安裝Ollama

請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。

二，運(yùn)行MiniCPM-V 2.6

使用下面的命令完成運(yùn)行MiniCPM-V 2.6：

三，體驗(yàn)MiniCPM-V 2.6 多模態(tài)能力

輸入下面的提示詞和測試圖片，體驗(yàn)MiniCPM-V 2.6的多模態(tài)能力：

“請描述并總結(jié)圖片中的內(nèi)容，并提煉出該產(chǎn)品的賣點(diǎn)。”

運(yùn)行視頻鏈接

審核編輯 黃宇