Định tuyến theo trọng số chi phí

Khi có sẵn nhiều mô hình — Opus, Sonnet, Haiku, hoặc các mô hình cục bộ phía sau cổng odysseus tự lưu trữ — PRECC định tuyến mỗi tác vụ tới mô hình giảm thiểu chi phí đô-la kỳ vọng, chứ không phải số lượng token. Một token từ mô hình rẻ và một token từ mô hình đắt không có cùng chi phí; bộ định tuyến tối ưu hóa theo đô-la, tuân theo một sàn thành công đã đo lường và một sàn năng lực theo từng danh mục.

Đơn vị chi phí là đô-la, không phải token

Đối với một tác vụ thuộc danh mục c, trên các mô hình ứng viên đủ điều kiện về năng lực m, bộ định tuyến giảm thiểu chi phí kỳ vọng có trọng số theo giá. E[$ | task, m] là chi phí token trung bình đã đo lường của mô hình cho danh mục đó nhân với giá mỗi token của nó. Một lần chạy Haiku dùng nhiều token hơn Opus vẫn có thể thắng, vì Haiku rẻ hơn vài lần trên mỗi token. Mỗi con số trong hàm mục tiêu đều hoặc được đo lường (giá trị token trung bình từ oracle, thành công đã ghi nhận, giá mô hình đã công bố) hoặc là một tiên nghiệm được gắn nhãn rõ ràng — không bao giờ bịa đặt.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Định tuyến một tác vụ

precc route "<task>" phân loại tác vụ, áp dụng sàn năng lực, xếp hạng các mô hình đủ điều kiện theo đô-la kỳ vọng, và in ra quyết định. Với --execute, nó điều phối tác vụ tới mô hình đã chọn thông qua API phiên của odysseus. Mỗi quyết định cũng được gieo vào oracle dự đoán để chi phí thực tế và kết quả có thể được ghi nhận sau khi tác vụ chạy.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Tiết kiệm đô-la

precc savings thêm một phần đô-la mỗi khi các tác vụ đã định tuyến hoàn tất. Đối với mỗi tác vụ đã định tuyến, nó định giá các token thực sự đã chi theo mức giá của mô hình đã chọn và so sánh chúng với một đường cơ sở luôn dùng mô hình mặc định — token được giữ cố định, chỉ có giá thay đổi. Đây là góc nhìn “cắt giảm chi phí, không chỉ token”; phần này vẫn ẩn cho đến khi tồn tại dữ liệu định tuyến thực sự, nên nó không bao giờ hiển thị các hàng bịa đặt.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

Vòng phản hồi

Việc định tuyến tự cải thiện: định tuyến → thực thi → ghi nhận → huấn luyện lại. Mỗi quyết định định tuyến được gieo vào oracle; tiến trình nền precc-learner lấy thông điệp đã hoàn tất, ghi nhận số token thực tế, mô hình, và thành công, rồi đóng hàng. Khi bảng theo từng (model, category) được điền dần, bộ định tuyến chuyển từ các tiên nghiệm rẻ-nhất-đủ-năng-lực sang các lựa chọn đã đo lường, và bộ dự đoán token có thêm một chiều theo từng mô hình.

Khám phá

Để tránh khai thác mãi một mô hình rẻ trên dữ liệu cũ, bộ định tuyến có thể cố ý lấy mẫu một ô (model, category) chưa được khám phá đầy đủ trước khi chọn theo kiểu tham lam. Khám phá là tùy chọn bật, mang tính tất định (không ngẫu nhiên — hook phải có thể tái lập), và bị giới hạn: nó không bao giờ vượt qua sàn năng lực hay sàn thành công đã đo lường, và một mức trần hối tiếc về giá ngăn nó đi lạc sang một mô hình đắt hơn nhiều.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Đo lường, không bao giờ giả định

Một mô hình chỉ bị loại vì không đạt sàn thành công khi có bằng chứng đã đo lường cho thấy điều đó — một mô hình chưa được đo lường không bao giờ bị loại dựa trên một con số đoán mò. Khi không có dữ liệu cho một ô, bộ định tuyến quay về một tiên nghiệm rẻ-nhất-đủ-năng-lực thận trọng và gắn nhãn quyết định là khởi động lạnh, để người gọi luôn biết liệu lựa chọn dựa trên bằng chứng hay trên một tiên nghiệm.

Keyboard shortcuts