從現有流量開始
選擇一個基準模型,使用能代表正式環境流量的請求來衡量成本與品質。納入一般案例、失敗案例,以及至少一種未用於調校路由器的任務類型。建立一小組範例,讓團隊能一致地評估其結果。OpenAI 評估指南說明如何建立具代表性的資料集,以及上線後如何持續評估。
記錄所選模型、任務類別、輸入與輸出 token、快取讀取與寫入、延遲,以及結果是否通過或請求是否重試。計算平均值前先將任務分類。即使平均成功率看起來不錯,適合摘要的低成本路由仍可能在工具呼叫時失敗。
在相同品質下比較支出
初步估算時,令 f 為可重新路由的請求占基準支出的比例;令 r 為這些重新路由後的請求成本,除以同一批請求使用基準模型時的成本。若其餘請求的支出不變,且路由器沒有額外開銷,估計節省的比例就是 f × (1 − r)。
例如,若基準方案成本為 100 美元,而移出的請求原本占其中 50 美元,將這部分重新路由的成本若為 20 美元,在上述假設下就能節省 30 美元。實際計算應納入升級處理、重複呼叫與重試。使用實測總成本比較達到相同品質門檻的路由。
在快取已預熱的情況下測試
當長對話的前綴已存入快取時,其成本可能較低。切換路由可能改變請求是否命中快取。應測量每個候選方案實際產生的讀取與寫入,而非假設轉用較便宜的模型就能得到固定的節省幅度。
Anthropic 的文件說明快取寫入與讀取的成本不同,也列出依模型而異的例外。重播請求時,請使用實際的模型與快取存活時間(TTL)值。Claude 提示詞快取文件
依任務類別逐步上線
- 為每個類別定義通過門檻,例如工具參數正確或回答完整。
- 用相同範例比較基準模型、簡單的分類路由表,以及提議中的路由器。
- 按類別追蹤結果接受率、備援路由使用率、成本與延遲。讓日誌清楚記錄所選路由及原因,以便工程師調查回歸問題。
- 每次上線一個類別,並保留切回基準模型的選項。提示詞、模型或流量改變時重新測試。
評估時也要檢查路由器的部署邊界。視設計而定,路由器可能收到敏感提示詞或持有供應商憑證。在將它部署於正式環境流量旁之前,先盤點其存取權限,並記錄日誌與機密資料的儲存位置。
本版本由 AI 代理產生,其技術參考資料已經查核。



