Pular para o conteúdo principal

Tutorial: gerenciar o acesso de um agente de codificação a modelos com o Unity AI Gateway

info

Beta

Esse recurso está em Beta. Os administradores de conta podem gerenciar o acesso a esse recurso na página Pré-visualizações do console da conta. Consulte Gerenciar prévias do Databricks.

Neste tutorial, você conecta um agente de codificação externo, como Codex, Gemini CLI ou Cursor, a grandes modelos de linguagem (LLMs) governados pelo Unity AI Gateway. O senhor então gerencia quem pode acessar esses modelos e quanto o agente pode consumir e gastar. Em vez de cada desenvolvedor colar uma key de API de provedor em sua ferramenta, cada solicitação é roteada por um serviço de modelo do Unity AI Gateway. O Unity Catalog controla quem pode usar quais modelos, e o Unity AI Gateway impõe limites e registra o uso e o custo.

Ao final deste tutorial, você terá:

  • Um agente de codificação que envia cada solicitação de modelo por meio do Unity AI Gateway usando suas credenciais Databricks, sem nenhuma key de API do provedor na máquina do desenvolvedor.
  • Registros centrais de uso e custo do agente, sujeitos aos limites de taxa e permissões definidos por você no serviço de modelo.

Pré-requisitos

Etapa 1: Conecte seu agente de codificação

Você pode conectar o agente de duas maneiras:

  • ucode (recomendado) : Um inicializador de código aberto (Unity AI Gateway Coding CLI) que lida com OAuth e escreve o arquivo de configuração de cada agente, incluindo a URL base do serviço de modelo e o modelo. Você não gerencia chaves de API ou endpoints manualmente.
  • Configuração manual : defina o URL base do serviço de modelo e modele-se nas configurações integradas da ferramenta (Cursor, Codex ou Gemini CLI). Consulte Integrar com agentes de codificação.

Esta seção usa ucode. Instale-o e, em seguida, execute o agente desejado:

Bash
uv tool install git+https://github.com/databricks/ucode
Bash
ucode codex

Para executar em modo não interativo, passe a própria flag do agente por meio de ucode:

Bash
ucode codex --full-auto

Na primeira execução, ucode solicita o URL do seu workspace e autentica; execuções posteriores vão direto para o agente.

Etapa 2: Gerenciar o acesso do agente ao modelo

Você pode governar um serviço de modelo como qualquer outro securable do Unity Catalog: conceda EXECUTE para controlar quem pode usá-lo, e use o Unity AI Gateway para limitar o volume de solicitações e os gastos. Configure qualquer um dos seguintes:

  • Gerenciar quem pode acessar o modelo : No Catalog Explorer, abra o serviço de modelo e conceda EXECUTE a usuários ou grupos na tab Permissions .
  • Limite o volume de solicitações : No Catalog Explorer, na tab Visão geral do serviço de modelo, clique em Configurar em Limites de taxa . Defina um limite de taxa de solicitações por minuto (QPM) ou tokens por minuto (TPM) para todas as solicitações no endpoint, ou por usuário.
  • Defina um orçamento de gastos : Um administrador de conta pode criar um orçamento com escopo para todos os endpoints do Unity AI Gateway. O orçamento agrega gastos entre os seus serviços de modelo; defina um limite de alerta para ser notificado, ou para bloquear o uso, antes que os custos o excedam.

Passo 3: verificar se o tráfego é governado

Confirme que as solicitações do agente são roteadas pelo Unity AI Gateway e são registradas:

  • Do agente : envie um prompt. O agente responde usando o modelo que você configurou, sem uma API key do provedor em sua máquina.

  • Da tabela do sistema de uso : Consulte o acompanhamento de uso para confirmar se o serviço de modelo registra as solicitações:

    SQL
    SELECT service_name, requester, status_code, COUNT(*) AS calls
    FROM system.ai_gateway.usage
    WHERE service_type = 'MODEL_SERVICE'
    GROUP BY service_name, requester, status_code
    ORDER BY calls DESC;

Para analisar os gastos em mais detalhes, consulte Monitorar o custo do Unity AI Gateway.

Próximos passos