مسیریابی وزن‌دهی‌شده بر اساس هزینه

هنگامی که چند مدل در دسترس است — Opus، Sonnet، Haiku یا مدل‌های محلی پشت یک دروازهٔ خوداِستقرار odysseus — PRECC هر وظیفه را به مدلی مسیریابی می‌کند که هزینهٔ دلاری مورد انتظار را کمینه کند، نه شمار توکن‌ها را. یک توکن از یک مدل ارزان و یک توکن از یک مدل گران، هزینهٔ یکسانی ندارند؛ مسیریاب دلار را بهینه می‌کند، مشروط به یک کف نجاح اندازه‌گیری‌شده و یک کف توانمندی برای هر دسته.

واحد هزینه دلار است، نه توکن

برای وظیفه‌ای از دستهٔ c، در میان مدل‌های نامزدِ واجد توانمندی m، مسیریاب هزینهٔ مورد انتظارِ وزن‌دهی‌شده با قیمت را کمینه می‌کند. E[$ | task, m] میانگین هزینهٔ توکنِ اندازه‌گیری‌شدهٔ مدل برای آن دسته است که در قیمت هر توکنِ آن ضرب شده است. اجرای Haiku که بیشتر از Opus توکن مصرف می‌کند باز هم می‌تواند برنده شود، زیرا Haiku به ازای هر توکن چندین برابر ارزان‌تر است. هر عدد در تابع هدف یا اندازه‌گیری‌شده است (میانگین‌های توکنِ اوراکل، نجاح ثبت‌شده، قیمت‌های منتشرشدهٔ مدل) یا یک پیش‌فرضِ صریحاً برچسب‌خورده — هرگز ساختگی نیست.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

مسیریابی یک وظیفه

precc route "<task>" وظیفه را دسته‌بندی می‌کند، کف توانمندی را اعمال می‌کند، مدل‌های واجد شرایط را بر اساس دلارهای مورد انتظار رتبه‌بندی می‌کند و تصمیم را چاپ می‌کند. با --execute وظیفه را از طریق رابط نشست odysseus به مدل برگزیده ارسال می‌کند. هر تصمیم نیز در اوراکل پیش‌بینی کاشته می‌شود تا هزینهٔ واقعی و نتیجهٔ آن پس از اجرای وظیفه قابل ثبت باشد.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

صرفه‌جویی دلاری

precc savings هرگاه وظایف مسیریابی‌شده تکمیل شده باشند، یک بخش دلاری می‌افزاید. برای هر وظیفهٔ مسیریابی‌شده، توکن‌هایی را که واقعاً مصرف شده‌اند با نرخ مدل برگزیده قیمت‌گذاری می‌کند و آن‌ها را با یک خط مبنای همیشه-مدل-پیش‌فرض مقایسه می‌کند — توکن‌ها ثابت نگه داشته می‌شوند و تنها قیمت تغییر می‌کند. این همان دیدگاه “هزینه را کم کن، نه فقط توکن‌ها” است؛ این بخش تا زمانی که داده‌های مسیریابی واقعی وجود نداشته باشد پنهان می‌ماند، پس هرگز ردیف‌های ساختگی نشان نمی‌دهد.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

حلقهٔ بازخورد

مسیریابی خود را بهبود می‌بخشد: مسیریابی → اجرا → ثبت → بازآموزی. هر تصمیم مسیریابی در اوراکل کاشته می‌شود؛ سرویس پس‌زمینهٔ precc-learner پیام تکمیل‌شده را واکشی می‌کند، توکن‌های واقعی، مدل و نجاح را ثبت می‌کند و ردیف را می‌بندد. همان‌طور که جدولِ هر (model, category) پر می‌شود، مسیریاب از پیش‌فرض‌های “ارزان‌ترینِ توانمند” به سمت گزینه‌های اندازه‌گیری‌شده می‌رود و پیش‌بینی‌کنندهٔ توکن یک بُعد ویژهٔ هر مدل به دست می‌آورد.

اکتشاف

برای پرهیز از بهره‌برداری ابدی از یک مدل ارزان بر پایهٔ داده‌های کهنه، مسیریاب می‌تواند پیش از انتخاب حریصانه، عامدانه از یک خانهٔ (model, category) کم‌اکتشاف‌شده نمونه‌برداری کند. اکتشاف انتخابی (opt-in)، قطعی (بدون تصادفی‌بودن — قلاب باید بازتولیدپذیر باشد) و کران‌دار است: هرگز از کف توانمندی یا کف نجاحِ اندازه‌گیری‌شده عبور نمی‌کند، و یک سقف پشیمانیِ قیمت مانع از انحراف آن به سوی مدلی به‌مراتب گران‌تر می‌شود.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

اندازه‌گیری‌شده، هرگز فرض‌شده

یک مدل تنها زمانی به دلیل ناکامی در گذر از کف نجاح کنار گذاشته می‌شود که شواهد اندازه‌گیری‌شده بر آن وجود داشته باشد — مدلی که اندازه‌گیری نشده هرگز بر اساس عددی حدسی کنار گذاشته نمی‌شود. در نبود داده برای یک خانه، مسیریاب به یک پیش‌فرضِ محافظه‌کارانهٔ “ارزان‌ترینِ توانمند” بازمی‌گردد و تصمیم را به‌عنوان شروع سرد برچسب می‌زند، تا فراخواننده همواره بداند که انتخاب بر شواهد استوار است یا بر یک پیش‌فرض.