以下是如何在Raspberry Pi上運(yùn)行大型語(yǔ)言模型(LLM)的方法。本文的目標(biāo)是找出在Raspberry Pi上運(yùn)行LLM是否是ChatGPT和GitHub Copilot等工具的合理替代方案。

您可觀看下方視頻，詳細(xì)了解Raspberry Pi運(yùn)行LLM的效果（作為編程助手），以及Raspberry Pi5與內(nèi)置NPU的單板計(jì)算機(jī)（如Radxa Rock 5C）的性能對(duì)比。

運(yùn)行LLM的本地實(shí)例有很多好處:

你不依賴價(jià)值數(shù)十億美元的公司，這些公司可隨時(shí)更改服務(wù)條款。

信息永遠(yuǎn)不會(huì)離開您的計(jì)算機(jī)/網(wǎng)絡(luò)，提供最佳隱私保護(hù)

可靈活嘗試無(wú)法通過(guò)ChatGPT等付費(fèi)訂閱服務(wù)獲得的不同LLM

Raspberry Pi安裝LLM指南

Ollama會(huì)使您的Raspberry Pi在本地安裝和運(yùn)行LLM變得非常容易。你只需要連上互聯(lián)網(wǎng)來(lái)下載模型。一旦它們被下載，全程在本地運(yùn)行。

curl-fsSL https://ollama.com/install.sh | sh

如果您要從不同的機(jī)器連接到Ollama，您必須設(shè)置幾個(gè)環(huán)境變量來(lái)使它工作。第一個(gè)環(huán)境將服務(wù)綁定到與您的Pi相關(guān)聯(lián)的所有IP地址。第二個(gè)環(huán)境變量有點(diǎn)復(fù)雜，因?yàn)樗Q于您如何從另一個(gè)設(shè)備訪問(wèn)Ollama服務(wù)器。我選擇使用IP地址，但是您可以選擇使用主機(jī)名，可以做出相應(yīng)的改變。

確保將< IP或主機(jī)名>替換為您的Pi的實(shí)際IP地址或主機(jī)名。我將使用IP地址作為本文的提示。

編輯文件/etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_ORIGINS=http://:11434"

讓我們重新啟動(dòng)Ollama，這樣它就可以接受我們剛剛更改的設(shè)置。

sudosystemctl daemon-reloadsudo systemctl restart ollama

打開一個(gè)瀏覽器窗口，導(dǎo)航到http://:11434，您應(yīng)該會(huì)看到一條消息，說(shuō)明Ollama正在運(yùn)行。如果出現(xiàn)連接錯(cuò)誤或找不到頁(yè)面，請(qǐng)仔細(xì)檢查上面配置的環(huán)境變量。

Open WebUI(下面將詳細(xì)介紹)允許您直接從web界面下載模型，但我更喜歡使用終端。Ollama頁(yè)面上列出的任何型號(hào)都可以下載到Raspberry Pi。

我建議從1.5B參數(shù)模型開始，因?yàn)樗鼈冊(cè)赗aspberry Pi提供的有限資源上提供了準(zhǔn)確性和計(jì)算效率之間的良好平衡。

從Ollama的網(wǎng)站上復(fù)制run命令并粘貼到您的終端窗口中。

ollamarun qwen2.5-coder:1.5b

聊天服務(wù)器

一旦Ollama準(zhǔn)備就緒，您可以直接從終端進(jìn)行聊天會(huì)話。但這很笨重，而且不太用戶友好。Open WebUI提供了一種更現(xiàn)代的方式來(lái)與Ollama上運(yùn)行的LLM進(jìn)行交互。這提供了類似于使用ChatGPT這樣的聊天機(jī)器人的體驗(yàn)。

Open WebUI以Python包的形式提供，因此安裝它應(yīng)該很簡(jiǎn)單。從Raspberry Pi OS Bookworm開始，你必須創(chuàng)建一個(gè)環(huán)境來(lái)使用pip安裝Python包。

python-m venv myenv

上面的命令將創(chuàng)建一個(gè)名為myenv的文件夾，其中包含Python環(huán)境所需的所有文件。要獲取(激活)環(huán)境，請(qǐng)鍵入以下命令。

sourcemyenv/bin/activate

現(xiàn)在，使用pip安裝Open WebUI包。

pipinstall open-webui

安裝完成后，啟動(dòng)Open WebUI服務(wù)器。

open-webui serve

服務(wù)器將以默認(rèn)端口8080啟動(dòng)。要訪問(wèn)您的新LLM聊天機(jī)器人，請(qǐng)?jiān)趙eb瀏覽器中輸入您的Raspberry Pi IP地址，然后輸入端口號(hào)。這時(shí)候應(yīng)該加載Open WebUI，并且應(yīng)該向您顯示一個(gè)登錄屏幕。繼續(xù)為您自己創(chuàng)建一個(gè)帳戶。這是一個(gè)本地帳戶，信息不會(huì)通過(guò)互聯(lián)網(wǎng)發(fā)送。

登錄后，您可以使用聊天框來(lái)幫助您完成編碼任務(wù)。

如果你正在尋找聊天機(jī)器人的體驗(yàn)，你可以在這里停下來(lái)，享受你的新援助。但是如果你想把Ollama直接集成到你的代碼編輯器中，就像VS代碼一樣，需要更多的設(shè)置。

集成VS Code插件Continue

Continue VS代碼插件直接連接到運(yùn)行在Raspberry Pi 5上的Ollama服務(wù)器，可以提供自動(dòng)代碼完成。要使這一功能正常工作，您應(yīng)該了解一些設(shè)置。

默認(rèn)情況下，Continue會(huì)向Raspberry Pi發(fā)送太多的上下文數(shù)據(jù)。這只會(huì)導(dǎo)致Pi 5全速運(yùn)行幾分鐘，直到超時(shí)而沒有返回編碼建議。

打開Continue的設(shè)置，將下面的塊添加到config.json文件中。

"tabAutocompleteOptions":{ "maxPromptTokens":300}

接下來(lái)，確保選項(xiàng)卡自動(dòng)完成設(shè)置匹配您正在使用的模型和Pi的IP地址。這里有一個(gè)我如何設(shè)置它使用Qwen2.5編碼器模型的例子。

"tabAutocompleteModel":{"title":"Qwen2.5-Coder", "provider":"ollama", "model":"qwen2.5-coder:1.5b", "apiBase":"http://10.0.0.41:11434"}

原文鏈接：

https://dphacks.com/2025/02/09/raspberry-pi-5-coding-assistant-with-ollama-and-continue/