Configurar o AI Gateway no endpoint modelo servindo

nota

Esse recurso está em Preview.

Neste artigo, o senhor aprenderá a configurar o Mosaic AI Gateway em um modelo de serviço endpoint.

Requisitos

Um Databricks workspace em uma das seguintes regiões:
- Uma região com suporte de modelos externos
- A Foundation Model APIs suportou a região para provisionamento Taxa de transferência ou pay-per-tokens.
A servindo o modelo endpoint. O senhor pode usar um dos endpoints pré-configurados de pay-per-tokens em seu site workspace.

Na seção AI Gateway da página de criação endpoint, é possível configurar individualmente o recurso AI Gateway.

A tabela a seguir resume como configurar o AI Gateway durante a criação do endpoint usando a UI de serviço.

A tabela a seguir mostra como configurar os guardrails suportados.

Guardrail	Como habilitar	Detalhes
Segurança	Selecione Segurança para ativar salvaguardas para impedir que seu modelo interaja com conteúdo inseguro e prejudicial.
Detecção de informações de identificação pessoal (PII)	Selecione Detecção de PII para detectar dados de PII, como nomes, endereços e números de cartão de crédito.
Tópicos válidos	Você pode digitar tópicos diretamente nesse campo. Se você tiver várias entradas, certifique-se de pressionar enter após cada tópico. Como alternativa, o senhor pode acessar upload em um arquivo `.csv` ou `.txt`.	Um máximo de 50 tópicos válidos podem ser especificados. Cada tópico não pode exceder 100 caracteres
Palavras-chave inválidas	Você pode digitar tópicos diretamente nesse campo. Se você tiver várias entradas, certifique-se de pressionar enter após cada tópico. Como alternativa, o senhor pode acessar upload em um arquivo `.csv` ou `.txt`.	É possível especificar no máximo 50 palavras-chave inválidas. Cada palavra-chave não pode exceder 100 caracteres.