Roteamento ponderado por custo

Quando vários modelos estão disponíveis — Opus, Sonnet, Haiku ou modelos locais por trás de um gateway odysseus auto-hospedado — o PRECC roteia cada tarefa para aquele que minimiza o custo esperado em dólares, não a contagem de tokens. Um token de um modelo barato e um token de um modelo caro não têm o mesmo custo; o roteador otimiza o dólar, sujeito a um piso de sucesso medido e a um piso de capacidade por categoria.

Um dólar, não um token, é a unidade de custo

Para uma tarefa da categoria c, entre os modelos candidatos m elegíveis em capacidade, o roteador minimiza o custo esperado ponderado pelo preço. E[$ | task, m] é o custo médio medido em tokens do modelo para essa categoria multiplicado por seu preço por token. Uma execução do Haiku que usa mais tokens do que o Opus ainda pode vencer, porque o Haiku é várias vezes mais barato por token. Cada número no objetivo é medido (médias de tokens do oráculo, sucesso registrado, preços de modelos publicados) ou um a priori explicitamente rotulado — nunca fabricado.

choose argmin_m   E[$ | task, m]
       subject to  P(success | task, m) >= min_success
                   capability(m) >= capability_floor(category)

Roteando uma tarefa

precc route "<task>" categoriza a tarefa, aplica o piso de capacidade, classifica os modelos elegíveis pelos dólares esperados e imprime a decisão. Com --execute, ele despacha a tarefa para o modelo escolhido por meio da API de sessão do odysseus. Cada decisão também é semeada no oráculo de previsão para que seu custo real e resultado possam ser registrados depois que a tarefa for executada.

$ precc route "fix the broken parser"
  category   : fix (capability floor 0)
  → model    : anthropic/claude-haiku-4-5  [Measured, confidence 0.60]
  est. cost  : $0.0096 (12000 tok)
  reason     : measured cheapest-capable for `fix` (by cost): claude-haiku-4-5
  prediction : #42 (seeded; learner will auto-close after the task runs)

Economia em dólares

precc savings adiciona uma seção em dólares sempre que tarefas roteadas forem concluídas. Para cada tarefa roteada, ele precifica os tokens efetivamente gastos à tarifa do modelo escolhido e os compara com uma linha de base de modelo padrão sempre — tokens mantidos fixos, apenas o preço varia. Esta é a visão “cortar custo, não apenas tokens”; a seção permanece oculta até que existam dados reais de roteamento, de modo que nunca exibe linhas fabricadas.

$ precc savings
Routing cost (USD) — baseline: always claude-opus-4-5
  claude-haiku-4-5   :    1 task(s)  $   0.0096 chosen  vs $   0.0600 baseline
  claude-sonnet-4-6  :    1 task(s)  $   0.1200 chosen  vs $   0.2000 baseline
  total              :    2 task(s)  $   0.1296 chosen  vs $   0.2600 baseline
  → saved $0.1304 (50.2% of baseline spend)

O ciclo de retroalimentação

O roteamento melhora a si mesmo: route → execute → record → retrain. Cada decisão roteada é semeada no oráculo; o daemon precc-learner em segundo plano busca a mensagem concluída, registra os tokens reais, o modelo e o sucesso, e fecha a linha. À medida que a tabela por (model, category) é preenchida, o roteador passa dos a priori do mais barato capaz para escolhas medidas, e o preditor de tokens ganha uma dimensão por modelo.

Exploração

Para evitar explorar indefinidamente um único modelo barato com dados desatualizados, o roteador pode deliberadamente amostrar uma célula (model, category) subexplorada antes da escolha gulosa. A exploração é opcional, determinística (sem aleatoriedade — o hook deve ser reproduzível) e limitada: ela nunca cruza os pisos de capacidade ou de sucesso medido, e um teto de arrependimento de preço a impede de desviar para um modelo muito mais caro.

# ~/.config/precc/odysseus.toml
explore_n_min = 3     # sample each (model, category) cell ~3× before trusting it
explore_eps   = 1.0   # allow up to 2× the cheapest price while exploring

Medido, nunca presumido

Um modelo só é descartado por não atingir o piso de sucesso quando há evidência medida de que isso ocorre — um modelo não medido nunca é excluído com base em um número adivinhado. Sem dados para uma célula, o roteador recorre a um a priori conservador do mais barato capaz e rotula a decisão como uma partida a frio, de modo que o chamador sempre sabe se a escolha se baseia em evidências ou em um a priori.

Keyboard shortcuts