Pular para o conteúdo principal
Última atualização em

Criar e gerenciar provedores de modelos externos (serviços de provedor de modelos)

Faça o registro de um provedor de modelo externo como um serviço de provedor de modelo, conceda acesso a ele, configure os recursos do Unity AI Gateway e exclua-o.

Requisitos​

  • CREATE SERVICE no esquema onde você cria o serviço de provedor de modelo, além de USE CATALOG e USE SCHEMA em seu catálogo e esquema.
  • As credenciais para o provedor externo que você deseja registrar (por exemplo, uma key de API OpenAI ou um par de keys de acesso AWS).

Criar um serviço de provedor de modelos​

Os serviços de provedor de modelos e os serviços de modelos compartilham um único namespace de nome em um esquema do Unity Catalog. Não é possível usar um nome para um serviço de provedor de modelos se um serviço de modelos no esquema já o usa, e vice-versa.

Use a IU​

  1. Siga um destes procedimentos:

    • Na barra lateral do workspace, clique em AI Gateway , abra a tab Providers e clique em Provider .
    • No Catalog Explorer, vá para o esquema onde você deseja criar o serviço de provedor de modelos, clique em Create > Service e, em seguida, selecione Model provider service na caixa de diálogo Create a service .

  2. Insira um nome para o serviço de provedor de modelos e selecione o catálogo e o esquema para criá-lo. Se você começar do Catalog Explorer, o Catalog Explorer preencherá o catálogo e o esquema automaticamente.

  3. Selecione o tipo de provedor e insira os detalhes de conexão e as credenciais do provedor.

  4. Clique em Criar . A Databricks criptografa e armazena as credenciais. A IU não os exibe a partir deste ponto.

Para obter a lista completa de provedores e seus métodos de autenticação, consulte Governar provedores de modelos externos (serviços de provedor de modelos).

Enviar uma chave de API de provedor personalizada em um cabeçalho​

Um provedor personalizado envia sua API key como um token do portador por default. Quando seu Endpoint espera a key em um cabeçalho específico, use a autenticação de cabeçalho de key de API e nomeie o cabeçalho você mesmo. O Databricks então envia a chave em cada solicitação de saída como <header name>: <header value>.

Crie o serviço de provedor de modelos conforme descrito em Criar um serviço de provedor de modelos. Selecione Custom como o tipo de provedor, defina Auth method como API key header e forneça o Header name que seu endpoint espera (como X-API-Key ou Ocp-Apim-Subscription-Key) junto com o Header value .

Os dois métodos são mutuamente exclusivos: um provedor personalizado usa um token do portador ou um cabeçalho nomeado, não ambos. A autenticação de cabeçalho aceita exatamente um cabeçalho.

O nome do cabeçalho deve ser um nome de cabeçalho HTTP válido: letras, dígitos e os caracteres !#$%&'*+-.^_`|~, até 255 caracteres. Qualquer outro caractere é rejeitado, incluindo espaços, dois-pontos, barras e quebras de linha.

Conceder acesso​

Para permitir que outros query um serviço de provedor de modelos, conceda a eles EXECUTE no serviço de provedor de modelos e USE CATALOG e USE SCHEMA em seu catálogo e esquema. Se o serviço de provedor de modelos registrar logs em uma tabela de inferência, conceda SELECT na tabela para permitir que leiam as solicitações e respostas registradas.

Para conceder acesso no Explorador de Catálogos:

  1. No Catalog Explorer, abra o serviço do provedor de modelos.
  2. Na Permissions tab, clique em Conceder .
  3. Selecione os usuários ou grupos para conceder acesso, selecione o EXECUTE privilégio e clique em **Conceder**.

Certifique-se de que as mesmas entidades de segurança também tenham USE CATALOG e USE SCHEMA no catálogo e esquema do serviço do provedor de modelos. Para permitir que leiam solicitações e respostas registradas, conceda SELECT na tabela de inferência a partir de sua Permissions tab.

Para saber mais sobre como conceder e descobrir acesso, consulte Descubra e governe o acesso a provedores de modelos externos (serviços de provedor de modelo).

Configurar recursos​

Como um serviço de provedor de modelos é roteado através do Unity AI Gateway, aplique os mesmos recursos de governança e observabilidade utilizados para outros tráfegos do Unity AI Gateway:

Excluir um serviço de provedor de modelos​

Para excluir um serviço de provedor de modelos, você deve ter pelo menos o privilégio MANAGE nele. O proprietário tem um superconjunto de MANAGE.

Para excluir um serviço de provedor de modelos, abra-o no Catalog Explorer e selecione Excluir no menu kebab. Excluir um serviço de provedor de modelos remove suas credenciais armazenadas.

Próximos os passos​

Nesta página