Směrování vážené náklady

Když je k dispozici několik modelů — Opus, Sonnet, Haiku nebo lokální modely za vlastně hostovanou bránou odysseus — PRECC směruje každý úkol k tomu, který minimalizuje očekávané náklady v dolarech, nikoli počet tokenů. Token z levného modelu a token z drahého nestojí stejně; směrovač optimalizuje dolar, s výhradou naměřené prahové úspěšnosti a prahu schopností pro každou kategorii.

Jednotkou nákladů je dolar, nikoli token

Pro úkol kategorie c přes schopnostně způsobilé kandidátní modely m směrovač minimalizuje očekávané cenově vážené náklady. E[$ | task, m] jsou naměřené průměrné tokenové náklady modelu pro danou kategorii vynásobené jeho cenou za token. Běh Haiku, který spotřebuje více tokenů než Opus, může přesto zvítězit, protože Haiku je za token několikanásobně levnější. Každé číslo v účelové funkci je buď naměřené (tokenové průměry z orákula, zaznamenaná úspěšnost, zveřejněné ceny modelů), nebo explicitně označený apriorní odhad — nikdy vymyšlené.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Směrování úkolu

precc route "<task>" zařadí úkol do kategorie, uplatní práh schopností, seřadí způsobilé modely podle očekávaných dolarů a vypíše rozhodnutí. S --execute odešle úkol vybranému modelu přes odysseus session API. Každé rozhodnutí je také zaseto do predikčního orákula, aby bylo možné po proběhnutí úkolu zaznamenat jeho skutečné náklady a výsledek.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Úspory v dolarech

precc savings přidá dolarovou sekci, kdykoli jsou nasměrované úkoly dokončeny. U každého nasměrovaného úkolu oceňuje skutečně spotřebované tokeny sazbou vybraného modelu a porovnává je s referenční hodnotou vždy-výchozího-modelu — tokeny drženy konstantní, mění se pouze cena. To je pohled „seškrtni náklady, nejen tokeny“; sekce zůstává skrytá, dokud neexistují skutečná data o směrování, takže nikdy nezobrazuje vymyšlené řádky.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

Zpětnovazební smyčka

Směrování se samo zlepšuje: route → execute → record → retrain. Každé rozhodnutí o směrování je zaseto do orákula; démon precc-learner na pozadí načte dokončenou zprávu, zaznamená skutečné tokeny, model a úspěšnost a uzavře řádek. Jak se tabulka pro každé (model, category) plní, směrovač přechází od apriorních odhadů nejlevnějšího-schopného k naměřeným volbám a tokenový prediktor získává rozměr pro každý model.

Průzkum

Aby směrovač navždy nevyužíval jeden levný model na zastaralých datech, může záměrně vzorkovat málo prozkoumanou buňku (model, category) před hladovou volbou. Průzkum je dobrovolný, deterministický (žádná náhodnost — hook musí být reprodukovatelný) a ohraničený: nikdy nepřekročí prahy schopností ani naměřené úspěšnosti a strop cenové lítosti mu brání zabloudit k mnohem dražšímu modelu.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Naměřeno, nikdy předpokládáno

Model je vyloučen pro nesplnění prahu úspěšnosti pouze tehdy, když existuje naměřený důkaz, že jej nesplňuje — nezměřený model není nikdy vyloučen na základě odhadnutého čísla. Bez dat pro buňku se směrovač vrací ke konzervativnímu apriornímu odhadu nejlevnějšího-schopného a označí rozhodnutí jako studený start, takže volající vždy ví, zda volba stojí na důkazech, nebo na apriorním odhadu.

Keyboard shortcuts