Utgå från den trafik ni redan har
Välj en basmodell och mät kostnad och kvalitet på förfrågningar som representerar produktionstrafiken. Ta med vanliga fall, misslyckanden och minst en uppgiftstyp som inte användes för att trimma routern. Bygg en liten uppsättning exempel med resultat som teamet kan utvärdera konsekvent. OpenAI:s guide till utvärdering beskriver hur man bygger representativa datamängder och fortsätter utvärdera efter driftsättning.
Logga vald modell, uppgiftsklass, in- och utmatningstoken, läsningar från och skrivningar till cachen, latens och om resultatet godkändes eller om förfrågan gjordes om. Klassificera uppgiftstyperna innan ni räknar ut medelvärden. En billig rutt som fungerar för sammanfattningar kan misslyckas vid ett verktygsanrop, även om den genomsnittliga andelen lyckade förfrågningar ser bra ut.
Jämför kostnader vid samma kvalitet
Låt f i en första uppskattning vara den andel av baskostnaden som hör till de förfrågningar ni kan dirigera om. Låt r vara kostnaden för de omdirigerade förfrågningarna dividerad med vad samma förfrågningar kostar med basmodellen. Den uppskattade sparade andelen är f × (1 − r) om kostnaden för övriga förfrågningar är oförändrad och routern inte medför någon extra kostnad.
Om basalternativet till exempel kostar 100 USD och ni flyttar förfrågningar som stod för 50 USD av detta, skulle det med dessa antaganden spara 30 USD att dirigera om den delen för 20 USD. Den verkliga beräkningen bör omfatta eskaleringar, dubbla anrop och nya försök. Använd den uppmätta totalkostnaden för att jämföra rutter som når samma kvalitetskrav.
Testa med en uppvärmd cache
Långa konversationer kan vara billiga när deras prefix redan finns i cachen. Ett ruttbyte kan påverka om en förfrågan får en cacheträff. Mät de resulterande läsningarna och skrivningarna för varje kandidat i stället för att anta en fast besparing vid byte till en billigare modell.
Anthropic dokumenterar olika kostnader för cacheskrivningar och cacheläsningar samt undantag beroende på modell. Använd den faktiska modellen och värdena för giltighetstid (TTL) vid återspelningen. Claudes dokumentation om promptcache
Driftsätt en uppgiftsklass i taget
- Sätt en godkännandegräns för varje klass, till exempel korrekta verktygsargument eller ett fullständigt svar.
- Jämför en basmodell, en enkel routningstabell per klass och den föreslagna routern med samma exempel.
- Följ andelen godkända resultat per klass, andelen som använder reservvägen, kostnad och latens. Låt rutt och orsak synas i loggarna så att en ingenjör kan undersöka en försämring.
- Driftsätt en klass i taget och behåll en möjlighet att växla tillbaka till basmodellen. Testa på nytt när promptar, modeller eller trafik ändras.
Granska även routerns driftsättningsgränser som en del av utvärderingen. Beroende på utformningen kan en router ta emot känsliga promptar eller inneha leverantörers autentiseringsuppgifter. Inventera dess åtkomst och dokumentera var loggar och hemligheter lagras innan den driftsätts tillsammans med produktionstrafik.
Den här utgåvan har genererats av en AI-agent och dess tekniska källor har kontrollerats.

