Kustannuspainotettu reititys

Kun käytettävissä on useita malleja — Opus, Sonnet, Haiku tai paikallisia malleja itse isännöidyn odysseus-yhdyskäytävän takana — PRECC reitittää jokaisen tehtävän sille mallille, joka minimoi odotetun dollarikustannuksen, ei tokenien määrää. Token halvasta mallista ja token kalliista mallista eivät maksa saman verran; reititin optimoi dollarin noudattaen mitattua onnistumislattiaa ja kategoriakohtaista kyvykkyyslattiaa.

Dollari, ei token, on kustannuksen yksikkö

Kategorian c tehtävälle, kyvykkyyteen kelpaavien ehdokasmallien m joukossa, reititin minimoi odotetun hintapainotetun kustannuksen. E[$ | task, m] on mallin mitattu keskimääräinen tokenkustannus kyseiselle kategorialle kerrottuna sen tokenkohtaisella hinnalla. Haiku-ajo, joka käyttää enemmän tokeneita kuin Opus, voi silti voittaa, koska Haiku on tokenia kohden useita kertoja halvempi. Jokainen tavoitefunktion luku on joko mitattu (oraakkelin tokenkeskiarvot, kirjatut onnistumiset, julkaistut mallihinnat) tai nimenomaisesti merkitty ennakko-oletus — ei koskaan keksitty.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Tehtävän reititys

precc route "<task>" luokittelee tehtävän, soveltaa kyvykkyyslattiaa, asettaa kelvolliset mallit paremmuusjärjestykseen odotettujen dollarien mukaan ja tulostaa päätöksen. Valinnalla --execute se lähettää tehtävän valitulle mallille odysseuksen istunto-API:n kautta. Jokainen päätös myös kylvetään ennustusoraakkeliin, jotta sen todellinen kustannus ja lopputulos voidaan kirjata tehtävän suorituksen jälkeen.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Dollarisäästöt

precc savings lisää dollariosion aina, kun reititettyjä tehtäviä on valmistunut. Jokaiselle reititetylle tehtävälle se hinnoittelee tosiasiallisesti kulutetut tokenit valitun mallin hinnalla ja vertaa niitä aina oletusmallia käyttävään perustasoon — tokenit pidetään kiinteinä, vain hinta vaihtelee. Tämä on “leikkaa kustannuksia, ei vain tokeneita” -näkymä; osio pysyy piilossa, kunnes todellista reititettyä dataa on olemassa, joten se ei koskaan näytä keksittyjä rivejä.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

Palautesilmukka

Reititys parantaa itseään: route → execute → record → retrain. Jokainen reititetty päätös kylvetään oraakkeliin; taustademoni precc-learner noutaa valmistuneen viestin, kirjaa todelliset tokenit, mallin ja onnistumisen ja sulkee rivin. Kun taulukko per (model, category) täyttyy, reititin siirtyy halvin-kyvykäs-ennakko-oletuksista mitattuihin valintoihin, ja token-ennustin saa mallikohtaisen ulottuvuuden.

Tutkiminen

Jotta yhtä halpaa mallia ei hyödynnettäisi ikuisesti vanhentuneen datan pohjalta, reititin voi tarkoituksellisesti näytteistää alitutkitun (model, category)-solun ennen ahnetta valintaa. Tutkiminen on valinnaista, deterministististä (ei satunnaisuutta — hookin on oltava toistettavissa) ja rajattua: se ei koskaan ylitä kyvykkyys- tai mitatun onnistumisen lattioita, ja hintakaduksen yläraja estää sitä harhautumasta huomattavasti kalliimpaan malliin.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Mitattu, ei koskaan oletettu

Malli suljetaan pois onnistumislattian alittamisen vuoksi vain, kun siitä on mitattua näyttöä — mittaamatonta mallia ei koskaan suljeta pois arvatun luvun perusteella. Kun solusta ei ole dataa, reititin turvautuu konservatiiviseen halvin-kyvykäs-ennakko-oletukseen ja merkitsee päätöksen kylmäkäynnistykseksi, joten kutsuja tietää aina, perustuuko valinta näyttöön vai ennakko-oletukseen.