在DeepSeek迅速成為行業焦點之際，香橙派昇騰系列產品已經率先完成了與 DeepSeek 模型的深度適配，通過在邊緣進行離線部署，幫助用戶實現高效端側智能，確保數據處理的安全性和可控性。

緊接著，香橙派官方發布OrangePi5Plus運行Deepseek-R1蒸餾模型實操指南，趕緊收藏起來吧！

OrangePi 5 Plus采用了瑞芯微RK3588八核64位處理器，具體為四核A76+四核A55，8nm工藝設計，主頻最高可達2.4GHz，集成ARM Mali-G610,內置3D GPU，兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2；內嵌的NPU支持INT4/INT8/INT16/FP16混合運算，算力高達6TOPS，可以滿足絕大多數終端設備的邊緣計算需求；擁有4GB/8GB/16GB（LPDDR4/4X）、32GB LPDDR4X，和eMMC閃存插座，可以外接16GB/32GB/64GB/128GB/256GB eMMC模塊。OrangePi 5 Plus支持OrangePi官方研發的操作系統Orangepi OS，同時，支持Android12、Debian11、Ubuntu22.04等操作系統。OrangePi 5 Plus順利通過開放原子開源基金會XTS認證，并獲頒OpenHarmony生態產品兼容性證書。

實操指南：OrangePi5Plus運行Deepseek-R1蒸餾模型

1.1.6.DeepSeek-R1-Distill-Qwen-1.5B

1）參考用戶手冊在pc端安裝RKLLM工具鏈。

2）參考用戶手冊在pc端編譯llm_demo測試程序。

3）先在Ubuntu操作系統上安裝GitLFS，如果已安裝可跳過這一步。

test@test:~$sudo apt update

test@test:~$sudo apt install curl git git-lfs

4）接著下載DeepSeek-R1-Distill-Qwen-1.5B模型。

test@test:~$git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

5）參考下面的代碼修改test.py文件。

a. modelpath：DeepSeek-R1-Distill-Qwen-1.5B文件夾所在的絕對路徑。

b. llm.export_rkllm：轉換后模型保存路徑。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/test.py

modelpath ="/path/your/DeepSeek-R1-Distill-Qwen-1.5B"#填你自己的路徑

ret = llm.export_rkllm("./DeepSeek-R1-Distill-Qwen-1.5B.rkllm")

6) 創建一個名為“data_quant.json”的文件。內容可以參考下面的示例。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/data_quant.json

[{"input":"Human: 你好！\nAssistant: ", "target": "你好！我是人工智能助手KK！"}]

7) 然后用python3運行test.py文件來轉換大模型。

test@test:~$cdrknn-llm/rkllm-toolkit/examples

test@test:~/rknn-llm/rkllm-toolkit/examples$python3test.py

8) 轉換成功的輸出如下所示：

9) 最后轉換成功會在當前目錄下得到DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件，大小約為1.9G。

test@test:~/rknn-llm/rkllm-toolkit/examples$ls

data_quant.json test.py DeepSeek-R1-Distill-Qwen-1.5B.rkllm

10) 參考用戶手冊更新NPU內核驅動和rknn-llm相關文件。這里使用的版本是：

rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.6

11) 將在Ubuntu PC端編譯好的llm_demo程序和DeepSeek-R1-Distill-Qwen-1.5B.rkllm模型文件上傳到開發板中。

orangepi@orangepi:~$ls

llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm

12) 然后運行下面的命令限制最多打開的文件描述符（每開一個終端都要運行）。

orangepi@orangepi:~$ulimit -HSn 102400

13) 然后運行下面的命令來啟動模型。

orangepi@orangepi:~$chmod 777 llm_demo

orangepi@orangepi:~$./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm256 320

14) 運行成功的話就會彈出以下界面。

15) 如果運行完彈出以下失敗界面的話，reboot重啟開發板就可以了。第四步運行成功的話則跳過這一步。

orangepi@orangepi:~$sudo reboot

16) 在交互界面輸入問題后按回車，測試成功的結果如下：