Maliyet Ağırlıklı Yönlendirme

Birden fazla model mevcut olduğunda — Opus, Sonnet, Haiku ya da kendi sunucunuzda barındırılan bir odysseus ağ geçidinin arkasındaki yerel modeller — PRECC her görevi, token sayısını değil beklenen dolar maliyetini en aza indiren modele yönlendirir. Ucuz bir modelden gelen bir token ile pahalı bir modelden gelen bir token aynı maliyette değildir; yönlendirici, ölçülmüş bir başarı tabanına ve kategori başına bir yetenek tabanına tabi olarak doları optimize eder.

Maliyetin birimi token değil, dolardır

c kategorisindeki bir görev için, yetenek bakımından uygun aday modeller m üzerinden yönlendirici, beklenen fiyat ağırlıklı maliyeti en aza indirir. E[$ | task, m], modelin o kategori için ölçülmüş ortalama token maliyetinin token başına fiyatıyla çarpımıdır. Opus’tan daha fazla token kullanan bir Haiku çalıştırması yine de kazanabilir, çünkü Haiku token başına birkaç kat daha ucuzdur. Hedef fonksiyondaki her sayı ya ölçülmüştür (oracle token ortalamaları, kaydedilen başarı, yayımlanan model fiyatları) ya da açıkça etiketlenmiş bir öncüldür — asla uydurulmaz.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Bir görevi yönlendirme

precc route "<task>" görevi kategorize eder, yetenek tabanını uygular, uygun modelleri beklenen dolara göre sıralar ve kararı yazdırır. --execute ile görevi, odysseus oturum API’si aracılığıyla seçilen modele gönderir. Her karar ayrıca tahmin oracle’ına ekilir; böylece görev çalıştıktan sonra gerçek maliyeti ve sonucu kaydedilebilir.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Dolar tasarrufu

precc savings, yönlendirilen görevler tamamlandığında bir dolar bölümü ekler. Yönlendirilen her görev için, gerçekten harcanan token’ları seçilen modelin oranıyla fiyatlandırır ve bunları her zaman varsayılan modeli kullanan bir taban çizgisiyle karşılaştırır — token’lar sabit tutulur, yalnızca fiyat değişir. Bu, “yalnızca token’ı değil, maliyeti azalt” görüşüdür; bölüm, gerçek yönlendirme verisi var olana kadar gizli kalır, böylece asla uydurma satırlar göstermez.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

Geri besleme döngüsü

Yönlendirme kendini iyileştirir: yönlendir → çalıştır → kaydet → yeniden eğit. Yönlendirilen her karar oracle’a ekilir; arka planda çalışan precc-learner arka plan hizmeti tamamlanan mesajı çeker, gerçek token’ları, modeli ve başarıyı kaydeder ve satırı kapatır. Her (model, category) tablosu doldukça yönlendirici, “en ucuz yetenekli” öncüllerinden ölçülmüş seçimlere kayar ve token tahmin edicisi model başına bir boyut kazanır.

Keşif

Tek bir ucuz modeli bayat veriler üzerinde sonsuza dek sömürmekten kaçınmak için yönlendirici, açgözlü seçimden önce yeterince keşfedilmemiş bir (model, category) hücresini bilinçli olarak örnekleyebilir. Keşif tercihe bağlıdır, belirlenimcidir (rastgelelik yok — kanca yeniden üretilebilir olmalıdır) ve sınırlıdır: yetenek ya da ölçülmüş başarı tabanlarını asla aşmaz ve bir fiyat-pişmanlık tavanı, onun çok daha pahalı bir modele sapmasını engeller.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Ölçülmüş, asla varsayılmamış

Bir model, başarı tabanını geçemediği için yalnızca bunu ölçülmüş kanıt gösterdiğinde elenir — ölçülmemiş bir model asla tahmini bir sayı yüzünden dışlanmaz. Bir hücre için veri olmadığında yönlendirici, ihtiyatlı bir “en ucuz yetenekli” öncülüne geri döner ve kararı soğuk başlangıç olarak etiketler; böylece çağıran taraf, seçimin kanıta mı yoksa bir öncüle mi dayandığını her zaman bilir.

Keyboard shortcuts