Költségsúlyozott útválasztás

Amikor több modell is elérhető — Opus, Sonnet, Haiku vagy helyi modellek egy saját üzemeltetésű odysseus átjáró mögött —, a PRECC minden feladatot ahhoz a modellhez irányít, amelyik a várható dolláros költséget minimalizálja, nem a tokenek számát. Egy olcsó modell tokenje és egy drága modell tokenje nem azonos költségű; az útválasztó a dollárra optimalizál, egy mért sikerküszöb és egy kategóriánkénti képességküszöb mellett.

A költség egysége a dollár, nem a token

Egy c kategóriájú feladatnál a képesség szerint alkalmas jelölt modellek m halmazán az útválasztó a várható, árral súlyozott költséget minimalizálja. Az E[$ | task, m] a modell mért átlagos tokenköltsége az adott kategóriában, megszorozva a tokenenkénti árával. Egy Haiku-futás, amely több tokent használ, mint az Opus, így is győzhet, mert a Haiku tokenenként többszörösen olcsóbb. A célfüggvény minden száma vagy mért (orákulum tokenátlagok, rögzített siker, közzétett modellárak), vagy egy kifejezetten címkézett prior — soha nem koholt.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Egy feladat útválasztása

A precc route "<task>" kategorizálja a feladatot, alkalmazza a képességküszöböt, a várható dollárok szerint rangsorolja az alkalmas modelleket, és kiírja a döntést. Az --execute kapcsolóval a kiválasztott modellhez küldi a feladatot az odysseus munkamenet-API-n keresztül. Minden döntés bekerül az előrejelző orákulumba is, hogy a valós költsége és kimenetele rögzíthető legyen a feladat lefutása után.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Dolláros megtakarítás

A precc savings egy dolláros szakaszt ad hozzá, valahányszor útválasztott feladatok befejeződtek. Minden útválasztott feladatnál a ténylegesen elköltött tokeneket a kiválasztott modell díjszabása szerint árazza, és összeveti egy mindig-alapértelmezett-modell alapvonallal — a tokenek rögzítettek, csak az ár változik. Ez a “költséget vágj, ne csak tokent” nézet; a szakasz rejtve marad, amíg valós útválasztott adat nem létezik, így soha nem mutat koholt sorokat.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

A visszacsatolási hurok

Az útválasztás önmagát javítja: útválasztás → végrehajtás → rögzítés → újratanítás. Minden útválasztott döntés bekerül az orákulumba; a háttérben futó precc-learner démon lekéri a befejezett üzenetet, rögzíti a tényleges tokeneket, a modellt és a sikert, majd lezárja a sort. Ahogy a (model, category) szerinti tábla feltöltődik, az útválasztó a legolcsóbb-alkalmas priorokról a mért választásokra vált, a token-előrejelző pedig modellenkénti dimenzióval bővül.

Felderítés

Hogy ne aknázzon ki örökké egyetlen olcsó modellt elavult adatokon, az útválasztó szándékosan mintát vehet egy alulfeltárt (model, category) cellából a mohó választás előtt. A felderítés választható, determinisztikus (nincs véletlenszerűség — a hooknak reprodukálhatónak kell lennie) és korlátozott: soha nem lépi át a képesség- vagy a mért-siker küszöböket, egy ár-megbánási felső korlát pedig megakadályozza, hogy egy jóval drágább modellre tévedjen.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Mért, soha nem feltételezett

Egy modellt csak akkor zárunk ki a sikerküszöb el nem érése miatt, ha van rá mért bizonyíték — egy nem mért modellt soha nem zárunk ki egy találgatott szám alapján. Ha egy cellára nincs adat, az útválasztó egy óvatos, legolcsóbb-alkalmas priorra esik vissza, és a döntést hidegindításként címkézi, így a hívó mindig tudja, hogy a választás bizonyítékon vagy egy prioron alapul-e.