Pular para o conteúdo principal
Última atualização em

Criar e gerenciar provedores de modelos externos (serviços de provedor de modelos)

Faça o registro de um provedor de modelo externo como um serviço de provedor de modelo, conceda acesso a ele, configure os recursos do Unity AI Gateway e exclua-o.

Requisitos​

  • CREATE SERVICE no esquema onde você cria o serviço de provedor de modelo, além de USE CATALOG e USE SCHEMA em seu catálogo e esquema.
  • As credenciais para o provedor externo que você deseja registrar (por exemplo, uma key de API OpenAI ou um par de keys de acesso AWS).
  • Para autenticar o Amazon Bedrock com uma credencial de serviço em vez de um par de access key, você precisa de uma credencial de serviço existente e ACCESS nela. Consulte Autenticar o Amazon Bedrock com uma credencial de serviço.

Criar um serviço de provedor de modelos​

Os serviços de provedor de modelos e os serviços de modelos compartilham um único namespace de nome em um esquema do Unity Catalog. Não é possível usar um nome para um serviço de provedor de modelos se um serviço de modelos no esquema já o usa, e vice-versa.

Use a IU​

  1. Siga um destes procedimentos:

    • Na barra lateral do workspace, clique em AI Gateway , abra a tab Providers e clique em Provider .
    • No Catalog Explorer, vá para o esquema onde você deseja criar o serviço de provedor de modelos, clique em Create > Service e, em seguida, selecione Model provider service na caixa de diálogo Create a service .

  2. Insira um nome para o serviço de provedor de modelos e selecione o catálogo e o esquema para criá-lo. Se você começar do Catalog Explorer, o Catalog Explorer preencherá o catálogo e o esquema automaticamente.

  3. Selecione o tipo de provedor e insira os detalhes de conexão e as credenciais do provedor.

  4. Clique em Criar . A Databricks criptografa e armazena as credenciais. A IU não os exibe a partir deste ponto.

Para obter a lista completa de provedores e seus métodos de autenticação, consulte Governar provedores de modelos externos (serviços de provedor de modelos).

Autenticar o Amazon Bedrock com uma credencial de serviço​

Você pode autenticar um provedor do Amazon Bedrock com uma credencial de serviço em vez de armazenar um par de chaves de acesso da AWS. Uma credencial de serviço mantém uma IAM role que o Unity Catalog governa, portanto, nenhuma key AWS de longa duração é copiada para o serviço de provedor de modelo: o Databricks obtém credenciais de curta duração da role para autenticar cada solicitação.

Crie o serviço de provedor de modelos conforme descrito em Criar um serviço de provedor de modelos. Selecione Amazon Bedrock como o tipo de provedor, defina Auth method como Service credential e selecione a credencial em vez de inserir um par de chaves de acesso.

Confirme os seguintes requisitos:

  • O proprietário do serviço de provedor de modelo tem ACCESS na credencial de serviço. Como o Databricks verifica novamente o acesso do proprietário ao atender solicitações, o proprietário deve mantê-lo enquanto o provedor estiver em uso. Revogá-la interrompe as queries para todos, até mesmo para os chamadores que possuem EXECUTE no provedor. Para conceder ao proprietário acesso à credencial:

    SQL
    GRANT ACCESS ON SERVICE CREDENTIAL <service-credential-name> TO `<model-provider-service-owner>`;

  • O propósito da credencial é serviço , não armazenamento.

  • A credencial está disponível nos workspaces de onde as solicitações se originam. Suas associações de workspace ainda se aplicam, portanto, uma solicitação de um workspace ao qual a credencial não está associada falhará lá, embora o serviço de provedor de modelo em si seja acessível a partir de qualquer workspace que compartilhe a metastore.

  • O IAM role da credencial de serviço pode invocar os modelos do Bedrock que você planeja query. Para criar uma, consulte Criar credenciais de serviço.

Os chamadores que fazem query no provedor precisam das mesmas concessões que para qualquer outro provedor. Eles não precisam de nenhum privilégio na credencial de serviço, o que mantém a própria credencial fora do alcance deles.

O serviço de provedor de modelo rastreia uma credencial por seu identificador interno, portanto, você pode renomear uma credencial sem falha na query.

Se você excluir uma credencial, as queries falharão e não haverá aviso de que um serviço de provedor de modelos faz referência a ela. Confirme se não há referências a esta credencial antes de excluí-la.

Você não pode alternar um serviço de provedor de modelo existente entre a autenticação por credencial de serviço e por par de key de acesso. Crie um novo serviço de provedor de modelo.

Enviar uma chave de API de provedor personalizada em um cabeçalho​

Um provedor personalizado envia sua API key como um token do portador por default. Quando seu Endpoint espera a key em um cabeçalho específico, use a autenticação de cabeçalho de key de API e nomeie o cabeçalho você mesmo. O Databricks então envia a chave em cada solicitação de saída como <header name>: <header value>.

Crie o serviço de provedor de modelos conforme descrito em Criar um serviço de provedor de modelos. Selecione Custom como o tipo de provedor, defina Auth method como API key header e forneça o Header name que seu endpoint espera (como X-API-Key ou Ocp-Apim-Subscription-Key) junto com o Header value .

Os dois métodos são mutuamente exclusivos: um provedor personalizado usa um token do portador ou um cabeçalho nomeado, não ambos. A autenticação de cabeçalho aceita exatamente um cabeçalho.

O nome do cabeçalho deve ser um nome de cabeçalho HTTP válido: letras, dígitos e os caracteres !#$%&'*+-.^_`|~, até 255 caracteres. Qualquer outro caractere é rejeitado, incluindo espaços, dois-pontos, barras e quebras de linha.

Conceder acesso​

Para permitir que outros query um serviço de provedor de modelos, conceda a eles EXECUTE no serviço de provedor de modelos e USE CATALOG e USE SCHEMA em seu catálogo e esquema. Se o serviço de provedor de modelos registrar logs em uma tabela de inferência, conceda SELECT na tabela para permitir que leiam as solicitações e respostas registradas.

Para conceder acesso no Explorador de Catálogos:

  1. No Catalog Explorer, abra o serviço do provedor de modelos.
  2. Na Permissions tab, clique em Conceder .
  3. Selecione os usuários ou grupos para conceder acesso, selecione o EXECUTE privilégio e clique em **Conceder**.

Certifique-se de que as mesmas entidades de segurança também tenham USE CATALOG e USE SCHEMA no catálogo e esquema do serviço do provedor de modelos. Para permitir que leiam solicitações e respostas registradas, conceda SELECT na tabela de inferência a partir de sua Permissions tab.

Para saber mais sobre como conceder e descobrir acesso, consulte Descubra e governe o acesso a provedores de modelos externos (serviços de provedor de modelo).

Configurar recursos​

Como um serviço de provedor de modelos é roteado através do Unity AI Gateway, aplique os mesmos recursos de governança e observabilidade utilizados para outros tráfegos do Unity AI Gateway:

Excluir um serviço de provedor de modelos​

Para excluir um serviço de provedor de modelos, você deve ter pelo menos o privilégio MANAGE nele. O proprietário tem um superconjunto de MANAGE.

Para excluir um serviço de provedor de modelos, abra-o no Catalog Explorer e selecione Excluir no menu kebab. Excluir um serviço de provedor de modelos remove suas credenciais armazenadas.

Próximos os passos​

Nesta página