大模型 API 高可用：一把 Key 配多個分組，按優先順序自動切換

同一個模型通常在好幾個分組裡都有，每個分組走一條獨立的線路。做高可用，就是讓一把 Key 同時掛上幾個分組：在控制台把 Key 的分組方式設為「多個分組 · 自動切換」，按優先順序排好最多 5 個分組，再開啟「跨分組重試」。之後每次請求先用排在最前、提供該模型的分組；這個分組出錯、重試也失敗時，平臺把同一個請求換到下一個分組繼續嘗試。每次請求按實際服務它的分組計價，具體是哪個分組，在操作日誌裡能查到。

切換規則

一次請求依次經過三步：

1. 選分組：按 Key 設定的順序，找第一個提供這個模型的分組。排在前面的分組沒有這個模型，就直接跳過。
2. 計價：按實際服務這次請求的分組計費，價格 = 模型標準價 × 該分組的倍率。
3. 出錯重試：遇到可以重試的錯誤，平臺先在同一個分組裡重試 1 次。開啟跨分組重試時，重試仍然失敗就換到下一個分組，同樣最多試 2 次，直到分組用完；沒有開啟時，錯誤直接返回給你。

不同情況下的結果：

同一分組內的重試走的還是這個分組的線路，能消化偶發的抖動；線路持續出問題時，要靠跨分組重試換到別的分組。

順序怎麼排

排在第一的分組會承擔幾乎全部流量，按你最看重的條件選它；後面的分組是備用，切過去的請求按後面分組的價格計費。先看清同一個模型在各個分組的價格：

三種常見排法：

各分組的標籤和說明見選擇分組；某個模型在哪些分組有，開啟它在模型與價格裡的詳情頁就能看到。

在控制台設定

1. 開啟控制台「令牌」頁，點「新增令牌」，或者編輯一把已有的 Key。
2. 在「令牌分組」裡，把分組方式選成「多個分組 · 自動切換」。
3. 在「自動分組順序」裡新增分組，用上移、下移調整順序，越靠前優先順序越高，最多 5 個。分組旁邊的 ×1、×0.8 是價格倍率，倍率越低越便宜。
4. 開啟「跨分組重試」。
5. 給這把 Key 設額度上限；需要的話再設模型限制和 IP 白名單。
6. 儲存。設定立即生效，呼叫程式碼不用改。

儲存後，令牌列表裡這把 Key 顯示為「自動」，後面跟著編號的分組；滑鼠移到上面，能看到跨分組重試是否開啟。

確認請求走了哪個分組

• 「操作日誌」：每條消費記錄的「分組」一欄是實際服務這次請求的分組，不會顯示成「自動」。按令牌名稱和分組篩選，就能看到每個分組承擔了多少請求、花了多少錢。
• 「資料看板」：「令牌與分組」一欄按令牌、分組和模型彙總消費，主分組和備用分組各佔多少一目瞭然。
• 模型列表介面：用這把 Key 呼叫 GET /v1/models，返回的是它所有分組提供的模型的合集；開了模型限制時，只包含允許的模型。

上線前檢查

1. 用這把 Key 呼叫模型列表介面，確認要用的模型都在。
2. 開啟服務狀態，看熱門模型在各分組線路近 24 小時的成功率和延遲，作為排順序的參考；其他模型在模型詳情頁的「可用性」標籤裡看。
3. 發一批真實請求，到操作日誌裡確認分組和扣費符合預期。

客戶端還要做什麼

平臺的切換解決的是線路故障，客戶端仍然要有自己的超時和重試：

• 超時別設得太短。平臺在分組之間切換需要時間，客戶端先超時放棄，平臺的切換就白做了。
• 對 429 和 5xx 做退避重試，做法見錯誤碼與重試。
• 流式請求開始輸出之後中途斷開，需要客戶端自己判斷和重發，見錯誤碼與重試裡「流式請求出錯」一節。

什麼時候改用多把 Key

多分組 Key 由平臺按固定規則切換。下面這些情況，用兩把不同分組的 Key、在程式碼裡自己切換更合適，也可以兩種方式疊加：

兩把 Key 做故障切換的示例程式碼見如何選分組。團隊裡怎麼按專案和環境分 Key，見團隊和多個專案共用一個帳號。