如何控制大模型 API 成本：10 個馬上能用的辦法

大模型 API 的費用 = 呼叫次數 ×（輸入 tokens × 輸入單價 + 輸出 tokens × 輸出單價）。能動的只有三樣：模型單價、每次的 tokens 數、呼叫次數。下面 10 個辦法按效果大致從大到小排列。前兩個（選對模型、分級路由）一般省得最多，其次是控制輸入，再次是控制輸出。

1. 選對模型檔位

同一家廠商的旗艦模型和小模型，單價可能差幾十倍。先用小模型跑一遍評測，正確率夠就不往上換。評測方法見如何為業務選模型。

2. 分級路由：難的問題才交給大模型

先讓便宜的模型判斷問題的類型或難度，簡單的直接回答，只把少數複雜問題轉給大模型。假設每月 10 萬次請求，每次輸入 2,000 tokens、輸出 400 tokens。

全部用旗艦模型：

八成請求交給小模型：

剩下兩成用旗艦模型：

後兩項加起來就是路由之後的費用。判斷難度這一步也要花錢，用最便宜的模型、只讓它輸出一個類別就夠了。

3. 精簡提示詞

系統提示詞每次請求都要發一遍。刪掉重複的說明、過多的示例和客套話，省下幾百 tokens，乘上每月幾十萬次呼叫也不少。

4. 限制輸出長度

• 設定 max_tokens，推理模型用 max_completion_tokens。
• 在提示詞裡寫清格式和字數，比如「只輸出 JSON」「不超過 100 字」。
• 推理模型可以用 reasoning_effort 調低思考強度，僅部分模型支援。

輸出單價通常比輸入高好幾倍。同樣每月 10 萬次、每次輸入 2,000 tokens，回答 800 tokens：

回答壓到 300 tokens：

5. 用上下文快取

把不變的系統提示詞和資料放在最前面，支援快取的模型命中後按快取讀取價計費，通常比普通輸入便宜得多。做法和能省多少見上下文快取是什麼、怎麼省錢。

6. 裁剪對話歷史

多輪對話每次都要把歷史帶上，聊到第 20 輪時，一次請求的輸入可能是第 1 輪的十幾倍。只保留最近幾輪，更早的內容讓小模型壓縮成一段摘要。

7. 選價格合適的分組

同一個模型在不同分組價格不同。開發測試和失敗能重試的批次任務用最低價分組，線上服務再用官方或雲廠商分組，見如何選分組。

8. 多條資料合併成一次請求

處理大量短文本時，比如給商品標題分類，可以把 20 條左右放進一次請求，讓模型按順序返回 JSON 陣列。系統提示詞只發一次，總 tokens 少很多。一次別塞太多，條數多了模型容易漏，返回後要校驗數量。

import json
import os
from openai import OpenAI

client = OpenAI(base_url="https://www.tutujin.com/v1", api_key=os.environ["TUTUJIN_API_KEY"])

titles = ["男士纯棉短袖 T 恤", "不锈钢保温杯 500ml", "儿童防滑运动鞋"]  # 实际每批 20 条左右

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "给每个商品标题分配一个类目：服装、家居、鞋靴、其他。按输入顺序输出 JSON 数组，只输出数组。"},
        {"role": "user", "content": json.dumps(titles, ensure_ascii=False)},
    ],
)
labels = json.loads(resp.choices[0].message.content)
assert len(labels) == len(titles), "条数不一致，这一批重跑"

9. 每把 Key 設額度上限和模型白名單

程式死迴圈、Key 洩露，都可能在很短時間裡產生大量呼叫。給每把 Key 設額度上限和過期時間，再用模型白名單限制它只能調業務需要的模型，別人拿到也沒法用它去調昂貴的模型。具體做法見API Key 安全最佳實踐。

10. 定期看操作日誌

每週看一次控制台「操作日誌」，按模型、按 Key 看費用分佈，找出花錢最多的呼叫再針對性最佳化。新功能上線後的頭幾天尤其要看。

彙總

計費規則見大模型 API 價格怎麼算。