現在，GPT-3.5 Turbo支持自定義微調了！

只需上傳自己的數據，就可以運行專屬的定制大模型。

開發者狂喜！不少人驚呼：Awesome！

早期測試表明，經過微調的GPT-3.5 Turbo版本在某些任務中甚至可以超越GPT-4。

更新之余，OpenAI還直接明示了定價計劃，微調費用主要分為初始訓練費用和使用費用。

一個具有10萬tokens訓練數據集的微調工作（3個epoch訓練）成本大概在2.40美元。

此外，OpenAI還透露了GPT-4微調將于今年秋天推出。

不過也有人不吃這套，吐槽微調成本太高，其生成成本是基礎模型的8倍，必須要按照他們所說“將提示大小減小90%”，才能從中獲取效益。

開發者自己進行監督微調

OpenAI首先給出了指南手冊，微調可以用來改進這些模型性能。

• 可操縱性的改進，模型能夠更好地遵循指令。比如輸出簡潔回答或始終以給定的語言響應。

• 一致的格式化響應，開發人員可用微調將用戶提示轉換為高質量JSON代碼片段，隨后用于自己的系統。

• 定制語氣，微調可以更好磨煉模型輸出的質感，比如語氣，讓它更適合企業品牌的聲音。

除了提高性能之外，還能縮短提示時間，確保類似性能。另外，微調目前僅支持處理4000 tokens，這也是此前微調型號的兩倍。16k tokens微調將于今年秋季推出。

早期測試人員通過對模型本身指令進行微調，加快了API調用還降低成本，讓prompt減少了90%。

對函數調用結合和 gpt-3.5-turbo-16k的微調支持將在今年秋季晚些時候推出。

具體微調步驟，分為四步：

準備數據

{
"messages":[
{"role":"system","content":"Youareanassistantthatoccasionallymisspellswords"},
{"role":"user","content":"Tellmeastory."},
{"role":"assistant","content":"Onedayastudentwenttoschoool."}
]

上傳文件

curl-https://api.openai.com/v1/files
-H"Authorization:Bearer$OPENAI_API_KEY"
-F"purpose=fine-tune"
-F"file=@path_to_your_file"

創建微調作業

curlhttps://api.openai.com/v1/fine_tuning/jobs
-H"Content-Type:application/json"
-H"Authorization:Bearer$OPENAI_API_KEY"
-d'{
"training_file":"TRAINING_FILE_ID",
"model":"gpt-3.5-turbo-0613",
}'

使用微調模型

curlhttps://api.openai.com/v1/chat/completions
-H"Content-Type:application/json"
-H"Authorization:Bearer$OPENAI_API_KEY"
-d'{
"model":"ftorg_id",
"messages":[
{
"role":"system",
"content":"Youareanassistantthatoccasionallymisspellswords"
},
{
"role":"user",
"content":"Hello!Whatisfine-tuning?"
}
]
}'

OpenAI透露，未來他們將推出微調UI，這樣輕松訪問正在進行中的工作。

定價方面，分為訓練成本和使用成本。

• 訓練：0.008美元/1000 tokens；

• 使用輸入：0.012美元/1000 tokens；

• 使用輸出：0.016 美元/1000 tokens。

不過可以看到的是，價格確實比基礎模型高了不少。

更新了GPT-3模型

與此同時，OpenAI還在API端口更新了GPT-3模型：babbage-002 和 davinci-002。

這些模型都可以用新的API端點進行微調。

原始基礎模型 (ada, babbage, curie, 和 davinci)將于明年*（2024年）1月4日關閉。

好了，感興趣的朋友可以開始定制自己的GPT-3.5Turbo了。