Governar APIs de modelo (serviços de modelo)
Uma API de modelo oferece acesso governado a um grande modelo de linguagem. Envie uma solicitação, obtenha uma resposta, sem infraestrutura para execução. Por default, todo usuário da account pode fazer query as APIs de modelo fornecidas pelo sistema no esquema system.ai sem necessidade de configuração. Estes são modelos básicos servidos nativamente pelo Databricks, cobrados por tokens.
No Databricks, uma API de modelo é um objeto protegível do Unity Catalog (um serviço de modelo) que representa um endpoint de LLM governado. Como o Unity Catalog o armazena, você define, compartilha e governa o acesso a ele centralmente, juntamente com seus dados e através dos limites do workspace. Para governar modelos adicionais ou expor um endpoint personalizado, você cria suas próprias APIs de modelo.
As APIs de modelo suportam o seguinte:
- Modelos básicos pay-per-token servidos pelo Databricks , como serviços fornecidos pelo sistema em
system.aie como serviços que você cria. - Criando e gerenciando APIs de modelo com a interface de usuário do Unity AI Gateway, o Explorador de Catálogos e a API REST do Unity Catalog.
- Consultando APIs de modelo entre Workspace, de dentro e de fora do Databricks.
O que é um serviço de modelo?
Um serviço de modelo reside em um esquema do Unity Catalog e referencia um ou mais destinos, com roteamento e fallback entre eles. Os chamadores invocam o serviço de modelo pelo seu nome totalmente qualificado, e o Unity AI Gateway encaminha cada solicitação para um destino. Um destino pode ser um modelo servido pelo Databricks ou um serviço de provedor de modelo que encaminha para um provedor externo, e um único serviço de modelo pode combinar ambos.
Como um serviço de modelo é um objeto protegível do Unity Catalog, ele:
- Reside em um catálogo e esquema , onde herda as configurações do esquema, como vinculações de workspace.
- Contém metadados padrão do Unity Catalog , como nome, proprietário, comentário e tags.
- É governado por privilégios do Unity Catalog , então você concede acesso usando as mesmas declarações
GRANTeREVOKEque você usa para tabelas, funções e modelos. - É detectável no Catalog Explorer , juntamente com o restante dos seus ativos do Unity Catalog.
O mesmo serviço de modelo também aparece como um endpoint na UI do Unity AI Gateway, onde as equipes de AI podem configurar recursos como limites de taxa, tabelas de inferência e guardrails. Para saber mais sobre esses recursos, consulte governança de AI com o Unity AI Gateway.
Por que governar LLMs no Unity Catalog?
Os endpoints do Unity AI Gateway criados em um workspace têm o escopo definido para esse workspace. Para compartilhar um endpoint entre workspaces, você deve duplicá-lo em cada workspace e gerenciar cada cópia separadamente.
Os serviços de modelo movem a governança para o Unity Catalog, para que você possa:
- Defina um endpoint de LLM uma vez e use-o de qualquer workspace anexado ao mesmo metastore.
- Governe o acesso centralmente usando privilégios do Unity Catalog, em vez de permissões por workspace.
- Descubra modelos que estão disponíveis para você em todos os workspaces a partir de um único local.
- Rastreie o uso e o custo para serviços de modelo em tabelas de sistema do Unity Catalog.
- Rastreie a linhagem para ver os modelos que um serviço disponibiliza e os ativos downstream que consomem suas cargas úteis. Consulte Rastrear a linhagem da API de modelo e do provedor.
Serviços de modelo fornecidos pelo sistema
O Databricks fornece um serviço de modelo pronto para uso no esquema system.ai para cada modelo básico servido pelo Databricks, como system.ai.claude-opus-5. O Databricks adiciona novos serviços de modelo de sistema à medida que novos modelos básicos ficam disponíveis.
Serviços de modelo fornecidos pelo sistema têm as seguintes características:
- Por default, todos os usuários de account têm o privilégio
EXECUTE, então você pode consultá-los sem configuração adicional. - Um usuário do sistema é o proprietário deles, e você não pode excluí-los.
- default, apenas administradores do metastore podem modificá-los. Um administrador do metastore pode delegar o gerenciamento concedendo o privilégio
MANAGE.
Para restringir o acesso a serviços de modelo fornecidos pelo sistema, consulte governar serviços de modelo.
Privilégios
Os serviços de modelo utilizam o modelo de privilégios padrão do Unity Catalog. Os seguintes privilégios se aplicam:
Privilégio | Descrição |
|---|---|
| Acesse o catálogo e o esquema que contêm o serviço de modelo. Necessário para todas as operações. |
| Crie serviços de modelo em um esquema. Concedido no catálogo ou esquema. |
| Consultar um serviço de modelo. |
| Modificar ou excluir um serviço de modelo e gerenciar suas concessões. O proprietário tem um superconjunto de |
Os serviços de modelo usam os privilégios do definidor. O Databricks avalia uma query com base nos privilégios do proprietário em vez dos privilégios de quem a chamou. Quando um usuário faz uma query em um serviço de modelo, o Databricks verifica se o proprietário tem EXECUTE nos destinos referenciados, como os modelos subjacentes e quaisquer serviços de provedor de modelo. O chamador não precisa de acesso direto a esses destinos.
Limitações
Os seguintes recursos não são suportados:
- Modelos de throughput provisionado como destinos.
- Criando e gerenciando serviços de modelo com SQL.
- Descoberta de serviços de modelo com apenas o privilégio
BROWSE. - Pesquisa global por serviços de modelo.