Smart Routing para agentes de codificação

info

Beta

O Smart Routing está em versão Beta e é habilitado por account. Um administrador da account deve ativar a pré-visualização do Smart Routing antes que seus usuários possam usá-lo. A disponibilidade, os modelos suportados e a API estão sujeitos a alterações durante a versão Beta.

O Smart Routing seleciona automaticamente o melhor modelo para cada tarefa que um agente de codificação assume. No Omnigent, ele também seleciona o melhor harness de codificação. Em vez de pedir a cada desenvolvedor que escolha um modelo para cada solicitação, o Unity AI Gateway roteia cada tarefa para o modelo de menor custo capaz de processá-la.

Configure o Smart Routing por meio do Omnigent ou ucode, dependendo de como você executa seu agente de codificação.

Requisitos

• Pré-visualização em nível de conta do Smart Routing habilitada para sua conta. Entre em contato com o administrador da sua conta para ativar e aguarde de 1 a 2 minutos após a ativação para que ela seja propagada para o seu workspace.

• Acesso aos modelos candidatos que o Smart Routing pode selecionar. O Smart Routing escolhe apenas entre serviços de modelo com prefixo system.ai.

• Um workspace do Databricks em uma região suportada pelo Unity AI Gateway.

• Para rotear entre harnesses de codificação, e não apenas modelos, use a versão v0.8.0 ou posterior do Omnigent. O roteamento entre harnesses está disponível apenas no Omnigent.

Configure o Smart Routing usando o Omnigent

O Omnigent dá ao Smart Routing sua forma mais completa. Ele pode escolher tanto o modelo quanto o harness de codificação para cada tarefa. A escolha se aplica ao agente principal e a cada subagente que uma sessão iniciar.

Para configurar o Omnigent:

1. Configure o Claude Code e o Codex para usar seu workspace do Databricks para inferência:

   Bash

   omni setup

2. Conecte seu computador ao servidor Omnigent:

   Bash

   omni host --server <workspace-url>

   Substitua <workspace-url> pela URL do seu workspace do Databricks.

Em seguida, ative o Smart Routing na interface do usuário ou na CLI.

A partir da IU

Selecione Smart Routing como o harness para que o Omnigent escolha tanto o seu modelo quanto o harness:

Ou, após escolher o Claude Code ou o Codex, clique no ícone de engrenagem e selecione Smart Routing para seu modelo:

A partir da CLI

Passe --smart-routing para o harness:

Bash

omni claude --smart-routing --server <workspace-url>
omni codex --smart-routing --server <workspace-url>

Substitua <workspace-url> pela URL do seu workspace do Databricks.

Configure o Smart Routing usando ucode

ucode é a CLI do Databricks para executar agentes de codificação no Unity AI Gateway. Se você executar o Codex ou o Claude Code por meio do ucode, habilite o Smart Routing por agente:

Bash

ucode codex --enable-smart-routing
ucode claude --enable-smart-routing

A configuração persiste por agente, portanto, sessões posteriores de ucode codex ou ucode claude mantêm o Smart Routing ativado. Para desativá-lo:

Bash

ucode codex --disable-smart-routing
ucode claude --disable-smart-routing

Após o Smart Routing ser ativado, passe seu prompt na linha de comando para roteá-lo. O Smart Routing não se aplica a uma sessão raiz interativa, portanto, você deve fornecer o prompt com --:

Bash

ucode claude -- "<prompt>"
ucode codex -- "<prompt>"

O Smart Routing seleciona o modelo para esse prompt, e quaisquer subagentes que a tarefa gerar serão roteados da mesma forma. O roteamento entre harnesses está disponível apenas no Omnigent.

Limitações

• O Smart Routing está em versão Beta e é habilitado por account.
• O Smart Routing seleciona apenas entre serviços de modelo prefixados com system.ai. Serviços de modelo personalizados não são suportados atualmente.
• O usuário precisa de acesso a todos os modelos candidatos que o roteador pode selecionar, ou o Smart Routing falhará. Por exemplo, se o roteador puder rotear para gpt-5.5, claude-opus-4-8 e glm-5.2, o usuário precisará de EXECUTE nos serviços de modelo system.ai.gpt-5-5, system.ai.claude-opus-4-8 e system.ai.glm-5-2. Se o usuário não tiver acesso a nenhum candidato, a solicitação retornará um erro nomeando os serviços de modelo de que ele precisa.
• Fora do Omnigent, o Smart Routing só pode ser configurado com ucode. O Claude Code e o Codex nativos (executados diretamente, não através de ucode) não suportam o Smart Routing através do Unity AI Gateway.
• ucode roteia entre modelos dentro de um harness. O roteamento entre harnesses requer o Omnigent v0.8.0 ou posterior.

Outros recursos

• Governança de IA com o Unity AI Gateway
• Configurar roteamento e fallback para serviços de modelo
• Analisar o custo do Unity AI Gateway
• query APIs de modelo (serviços de modelo)
• Gerenciamento de custos de codificação de IA em escala