Ollama 是一個開源的大語言模型服務工具,它的核心目的是簡化大語言模型(LLMs)的本地部署和運行過程,請參考《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》,一條命令完成Ollama的安裝。
一,Llama3.2 Vision簡介
Llama 3.2 Vision是一個多模態大型語言模型(LLMs)的集合,它包括預訓練和指令調整的圖像推理生成模型,有兩種參數規模:11B(110億參數)和90B(900億參數)。Llama 3.2 Vision在視覺識別、圖像推理、字幕以及回答有關圖像的通用問題方面進行了優化,在常見的行業基準上優于許多可用的開源和封閉多模式模型。
二,在算力魔方4060版上完成部署
算力魔方?4060版是一款包含4060 8G顯卡的迷你主機,運行:
ollama run llama3.2-vision
完成Llama 3.2 Vision 11B模型下載和部署。
三,Llama 3.2實現圖片識別
將圖片輸入Llama3.2-Vision,然后直接輸入問題,即可獲得圖片信息,如下面視頻所示:
視頻若無加載,請移步至主頁查看關聯視頻。
四,總結
在算力魔方?4060版上,用Ollama輕松搞定Llama 3.2 Vision模型本地部署。
更多精彩內容請關注“算力魔方?”!
審核編輯 黃宇
-
模型
+關注
關注
1文章
3458瀏覽量
49761 -
Vision
+關注
關注
1文章
201瀏覽量
18556
發布評論請先 登錄
相關推薦
【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型(1B和7B)
如何在Ollama中使用OpenVINO后端
如何在RakSmart服務器上用Linux系統部署DeepSeek
deepin 25+DeepSeek-R1+Ollama本地搭建全流程

添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略
在龍芯3a6000上部署DeepSeek 和 Gemma2大模型
使用NVIDIA TensorRT提升Llama 3.2性能

Meta發布Llama 3.2量化版模型
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

評論