作者：

劉力 算力魔方創始人

前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發布了Llama3.2：一個多語言大型語言模型（LLMs）的集合，其中包括：

大語言模型：1B和3B參數版本，僅接收多種語言文本輸入。

多模態模型：11B和90B參數版本，既能接收文本輸入又能接收圖像輸入。

本文將介紹使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型。

1.1Llama 3.2簡介

Llama 3.2的1B和3B參數版本是一個支持多種語言大型語言模型，其指令調優純文本模型Llama-3.2-1B-Instruct和Llama-3.2-3B-Instruct，針對多語言對話用例進行了優化，包括代理檢索和摘要任務，性能參數如下圖所示。

Llama3.2官方正式支持的語言包括英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。

請讀者用下面的命令把Llama-3.2-1B-Instruct模型的預訓練權重下載到本地待用。

git clone https://www.modelscope.cn/LLM-Research/Llama-3.2-1B-Instruct.git

1.2算力魔方簡介

算力魔方是一款可以DIY的迷你主機，采用了抽屜式設計，后續組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊，再搭配不同的 IO 模塊可以組成豐富的配置，適應不同場景。

性能不夠時，可以升級計算模塊提升算力；IO 接口不匹配時，可以更換 IO 模塊調整功能，而無需重構整個系統。

本文以下所有步驟將在帶有英特爾i7-1265U處理器的算力魔方上完成驗證。

1.3三步完成Llama-3.2-1B-Instruct的INT4量化和本地部署

把Llama-3.2-1B-Instruct模型的預訓練權重下載到本地后，接下來本文將依次介紹基于Optimum Intel工具將Llama-3.2-1B-Instruct進行INT4量化，并完成本地部署。

Optimum Intel作為Transformers和Diffusers庫與Intel提供的各種優化工具之間的接口層，它給開發者提供了一種簡便的使用方式，讓這兩個庫能夠利用Intel針對硬件優化的技術，例如：OpenVINO、IPEX等，加速基于Transformer或Diffusion構架的AI大模型在英特爾硬件上的推理計算性能。

Optimum Intel代碼倉連接：https://github.com/huggingface/optimum-intel

1.3.1 第一步，搭建開發環境

請下載并安裝Anaconda，然后用下面的命令創建并激活名為llama32的虛擬環境：

conda create -n llama32 python=3.11#創建虛擬環境
conda activate llama32#激活虛擬環境
python -m pip install --upgrade pip #升級pip到最新版本

然后安裝Optimum Intel和其依賴項OpenVINO：

pip install optimum-intel[openvino]

1.3.2 第二步，用optimum-cli對Llama-3.2-1B-Instruct模型進行INT4量化

optimum-cli是Optimum Intel自帶的跨平臺命令行工具，可以不用編寫量化代碼，實現對Llama-3.2-1B-Instruct模型的量化。

執行命令將Llama-3.2-1B-Instruct模型量化為INT4 OpenVINO格式模型：

optimum-cli export openvino --model D:llama3Meta-Llama-3-8B --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.8 --sym llama3_int4_ov_model

1.3.3第三步：編寫推理程序llama3_2_int4_ov_infer.py

基于Optimum Intel工具包的API函數編寫Llama3的推理程序，非常簡單，只需要調用五個API函數：

編譯并載入Llama-3.2模型到指定DEVICE：OVModelForCausalLM.from_pretrained()

實例化Llama-3.2模型的Tokenizer：tok=AutoTokenizer.from_pretrained()

將自然語言轉換為Token序列：tok(question, return_tensors="pt", **{})

生成答案的Token序列：ov_model.generate()

將答案Token序列解碼為自然語言：tok.batch_decode()

完整范例程序如下所示，下載鏈接：git clone

https://gitee.com/Pauntech/llama3.git

import openvino as ov
from transformers import AutoConfig, AutoTokenizer
from optimum.intel.openvino import OVModelForCausalLM


ov_config = {"PERFORMANCE_HINT": "LATENCY", "NUM_STREAMS": "1", "CACHE_DIR": ""}
model_dir = "d:\llama3_2_1B_int4" #llama3.2 1B int4模型路徑
DEVICE = "CPU" #可更換為"GPU", "AUTO"...


# 編譯并載入Llama3.2模型到指定DEVICE
ov_model = OVModelForCausalLM.from_pretrained(
  model_dir,
  device=DEVICE,
  ov_config=ov_config,
  config=AutoConfig.from_pretrained(model_dir, trust_remote_code=True),
  trust_remote_code=True,
)


# 實例化Llama3.2模型的Tokenizer
tok = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
# 設置問題
question = "What's the OpenVINO?" 
# 將自然語言轉換為Token序列
input_tokens = tok(question, return_tensors="pt", **{})
# 生成答案的Token序列
answer = ov_model.generate(**input_tokens, max_new_tokens=128)
# 將答案Token序列解碼為自然語言
print(tok.batch_decode(answer, skip_special_tokens=True)[0])

運行llama3_2_int4_ov_infer.py：

python llama3_2_int4_ov_infer.py

運行結果，如下所示：

1.4總結

Optimum Intel工具包簡單易用，僅需三步即可完成開發環境搭建、Llama-3.2-1B-Instruct模型INT4量化和推理程序開發。基于Optimum Intel工具包開發Llama3推理程序僅需調用五個API函數，方便快捷的實現將Llama-3.2-1B-Instruct本地化部署在基于英特爾處理器的算力魔方上。