Governança de AI com Unity AI Gateway
Beta
Esta página aborda o novo Unity AI Gateway (visível na barra lateral da IU), que está atualmente em Beta. Os administradores da conta podem habilitar o acesso a este recurso na página Prévias do console da conta. Consulte Gerenciar prévias do Databricks.
Para obter detalhes sobre a versão anterior do AI Gateway (não o Unity AI Gateway), consulte AI Gateway para servir endpoint.
O Unity AI Gateway é a solução de governança da Databricks para AI corporativa. Construído sobre o Unity Catalog, ele estende a governança além de seus ativos de dados e AI para as interações de tempo de execução entre modelos, agentes, servidores MCP e ferramentas. Use-o para:
- Controle quais serviços de AI as equipes podem usar : Faça o registro de modelos hospedados pela Databricks e modelos externos, serviços MCP e agentes no Unity Catalog e, em seguida, conceda acesso com privilégios padrão do Unity Catalog. A Databricks tem serviços de modelo básico por default, além de serviços MCP gerenciados para aplicativos como Google Drive, Jira, Slack e GitHub.
- Encaminhe e gerencie o tráfego de AI : Encaminhe solicitações, defina limites de taxa, configure fallbacks e gerencie orçamentos entre modelos e serviços MCP. Limites rígidos de gastos interrompem as solicitações quando um orçamento é atingido, em vez de alertar depois do ocorrido.
- Defina barreiras de segurança e políticas de acesso : anexe políticas de serviço para permitir, negar ou exigir aprovação para solicitações e respostas individuais. Políticas integradas protegem contra exposição de PII, injeção de prompt e conteúdo não seguro.
- Monitorar uso, custo e risco: Rastreie quem usa quais serviços, quanto eles gastam e o que acontece durante cada solicitação, com rastreamento de agente unificado em toda a atividade de modelo e MCP.
É novo na governança de AI no Databricks? Consulte Comece com a governança de AI para um caminho de configuração de ponta a ponta.
Controle quais serviços de AI as equipes podem usar
O Unity Catalog gerencia ativos de AI como objetos protegíveis. Registre-os uma vez, em seguida, conceda e revogue o acesso usando os mesmos privilégios que você usa para tabelas e volumes:
- Modelos : Modelos de ML registrados no Unity Catalog, incluindo modelos de fundação hospedados, que são modelos de fundação hospedados pela Databricks disponíveis por meio das APIs do Foundation Model. Veja Gerenciar o ciclo de vida do modelo e permissões do Unity Catalog para modelos de fundação.
- Ferramentas MCP : servidores MCP registrados como objetos securáveis do Unity Catalog, com filtragem de ferramentas e políticas de serviço. Consulte Conecte agentes a ferramentas de terceiros com serviços MCP.
- Agentes : agentes de AI registrados como objetos protegíveis do Unity Catalog e governados juntamente com suas tabelas, modelos e funções.
- **Conexões**: conexões HTTP do Unity Catalog usadas para acessar APIs externas e servidores MCP. Consulte Conexões HTTP.
- Funções : Funções do Unity Catalog usadas como ferramentas de agente ou para transformações de dados. Consulte Criar ferramentas de agente de AI usando funções do Unity Catalog.
Para definir e compartilhar serviço de modelo como objetos protegíveis do Unity Catalog entre workspace, consulte Criar e gerenciar serviço de modelo.
Roteie e gerenciar o tráfego de AI
O Unity AI Gateway encaminha as solicitações para seus serviços de modelo e serviços MCP a partir de um plano de controle central. É possível gerenciar capacidade, disponibilidade e gastos em provedores externos e hospedados pelo Databricks.
-
- Aplicar limites de taxa
- Aplique limites de consumo em serviços de modelo e serviços MCP para gerenciar capacidade e custo.
-
- Configure a divisão de tráfego e fallbacks.
- Distribua solicitações entre vários backends de modelo e adicione failover para aumentar a disponibilidade.
-
- Gerenciar orçamentos
- Monitore os gastos e defina limites por usuário e tetos máximos para provedores hospedados pelo Databricks e provedores externos.
O recurso Unity AI Gateway não gera custos durante a versão Beta.
Defina limites de segurança e políticas de acesso
As concessões de privilégios do Unity Catalog determinam se uma entidade pode chamar um serviço de AI. As políticas de serviço governam como essa interação prossegue, com base no conteúdo da solicitação e da resposta e em quem está fazendo a chamada. Isso é mais importante quando os agentes agem em nome dos usuários e acessam sistemas externos.
Uma política de serviço é um tipo de política de controle de acesso baseado em atributos (ABAC) com escopo para serviços de AI. Você pode permitir, negar ou exigir aprovação humana para uma interação com base no seu conteúdo. Por exemplo, você pode bloquear uma solicitação que contém informações pessoalmente identificáveis (PII) ou negar uma chamada de ferramenta fora da política. Verificadores de integridade são políticas de serviço integradas para riscos comuns, como PII, injeção de prompt e conteúdo inseguro. Consulte Políticas de serviço para ativos seguros de IA e Criar e anexar uma política de serviço.
Monitorar uso, custo e risco
É possível acompanhar atividades, gastos e resultados em todos os serviços do Unity AI Gateway.
-
- Monitore o uso
- Acompanhe solicitações, uso de tokens e latência para serviços de modelo usando tabelas do sistema.
-
- Analisar custo
- Atribua o custo do Databricks a serviços, modelos de destino, entidades de serviço e tags.
-
- Audite as solicitações e respostas
- Faça o log de solicitações e respostas em tabelas Delta do Unity Catalog para monitoramento e depuração.
Como funciona em conjunto
O Unity AI Gateway baseia-se na governança do Unity Catalog em três camadas:
- **Ativos de AI**: O Unity Catalog gerencia modelos, funções, conexões e serviços como objetos protegíveis, governados com privilégios padrão do Unity Catalog. Os serviços incluem serviços de modelo, serviços de agente e serviços MCP.
- Tráfego de AI : o Unity AI Gateway é o plano de controle central para todos os serviços de AI, incluindo modelos de base, ferramentas e agentes.
- **Comportamento do serviço de IA**: Aspolíticas de serviço governam o conteúdo das solicitações e respostas aos serviços de IA, com base em quem está chamando e o que é enviado.
O monitoramento abrange todas as três camadas: você pode acompanhar o uso, custo e risco em ativos, tráfego e comportamento do serviço, incluindo quem usou qual serviço e o que aconteceu durante cada solicitação.
Começar
Os tópicos a seguir ajudam você a configurar e aplicar a governança de IA no Databricks.
-
- Começar com a governança de AI
- Um caminho de ponta a ponta para os administradores gerenciarem o acesso a ativos de AI, tráfego e custo, e o conteúdo de requisições e respostas, com orientação para escolher a abordagem correta para cada requisito.
-
- Políticas de serviço para recursos protegíveis de IA
- Como as políticas de serviço governam o conteúdo de solicitações e respostas a serviços de AI, usando barreiras de proteção integradas e políticas personalizadas.
-
- Criar e anexar uma política de serviço
- Como escrever uma função de política de serviço e anexá-la a um MCP Service ou Model Service.
-
- Tutorial: Governe o acesso MCP do GitHub de um agente de codificação
- Restrinja o acesso de um agente de codificação às ferramentas MCP do GitHub usando permissões do Unity Catalog e uma política de serviço integrada.
-
- Tutorial: Implementar barreiras de segurança em um serviço de modelo com políticas de serviço
- Implementar verificadores de integridade em um serviço de modelo usando verificadores de integridade integrados e políticas de serviço personalizadas.
endpoint de modelo de navegação (anterior)
A versão anterior do AI Gateway possui recursos de governança para endpoints de servindo modelo no nível do workspace, incluindo endpoints de modelo externos, endpoints de API de modelo de base e endpoints de modelo personalizados.
-
- Gateway AI para atendimento de endpoints
- Saiba mais sobre o recurso do AI Gateway para servir endpoints, incluindo recursos suportados e limitações.
-
- Configurar AI Gateway no endpoint do modelo intermediário
- Configure os recursos do AI Gateway, como acompanhamento de uso, registro de payloads, limites de taxa e proteções em um endpoint de modelo de serviço.
-
- Monitore os modelos utilizados com tabelas de inferência habilitadas pelo AI Gateway.
- Monitore os modelos utilizados com tabelas de inferência habilitadas pelo AI Gateway.