Mosaic AI Gateway

Prévia

O que é o Mosaic AI Gateway?

O Mosaic AI Gateway foi projetado para simplificar o uso e o gerenciamento de modelos de IA generativos em uma organização. É um serviço centralizado que traz governança, monitoramento e prontidão de produção para atender ao modelo de endpoint. Ele também permite que o senhor execute, proteja e controle o tráfego de AI para democratizar e acelerar a adoção da AI em sua organização.

Todos os dados são registrados em tabelas Delta em Unity Catalog.

Para começar a visualizar percepções a partir de seus dados do AI Gateway, acesse download o exemplo de painel do AI Gateway em GitHub. Esse painel aproveita os dados das tabelas de inferência de acompanhamento de uso e de registro de carga útil.

Depois de fazer download do arquivo JSON, importe o painel para seu workspace. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.

Recurso suportado

A tabela a seguir define o recurso de gateway AI disponível e quais tipos de modelo de serviço endpoint os suportam.

Recurso	Definição	Modelo externo endpoint	Modelo de Fundação APIs provisionamento Taxa de transferência endpoint
Permissão e limitação de taxa	Controle quem tem acesso e quanto acesso.	✓	✓
Registro de carga útil	Monitore e audite os dados que estão sendo enviados para modelar APIs usando tabelas de inferência.	✓	✓
Uso acompanhamento	Monitorar o uso operacional no endpoint e os custos associados usando tabelas do sistema.	✓	✓
AI Guarda-corpos	Evite dados indesejados e dados inseguros em solicitações e respostas. Consulte AI Guardrails.	✓	✓
Roteamento de tráfego	Minimize as interrupções de produção durante e após a implantação.	✓	✓

O Mosaic AI Gateway incorre em cobranças com base no recurso ativado. Durante a visualização, esses recursos pagos incluem AI Guardrails, registro de carga útil e acompanhamento de uso. Recursos como permissões de consulta, limitação de taxa e roteamento de tráfego são gratuitos. Qualquer novo recurso está sujeito a cobrança.

Guardrails de IA

Os IA Guardrails permitem que os usuários configurem e apliquem os dados compliance no nível do modelo endpoint e reduzam o conteúdo prejudicial em qualquer solicitação enviada ao modelo subjacente. As solicitações e respostas incorretas são bloqueadas e uma mensagem default é retornada ao usuário. Veja como configurar grades de proteção em um modelo servindo endpoint.

Importante

Os IA Guardrails estão disponíveis apenas em regiões que suportam o Foundation Model APIs pay-per-tokens.

A tabela a seguir resume as grades de proteção configuráveis. Consulte Limitações.

Guardrail	Definição
Filtragem de segurança	A filtragem de segurança impede que seu modelo interaja com conteúdo inseguro e prejudicial, como crimes violentos, automutilação e discurso de ódio. O filtro de segurança do IA Gateway é criado com o Meta Llama 3. Databricks usa o Llama Guard 2-8b como filtro de segurança. Para saber mais sobre o filtro de segurança Llama Guard e quais tópicos se aplicam ao filtro de segurança, consulte o cartão do modelo Meta Llama Guard 2 8B. O Meta Llama 3 está licenciado sob a Licença da comunidade LLAMA 3, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir compliance as licenças de modelo aplicáveis.
Detecção de informações de identificação pessoal (PII)	Os clientes podem detectar quaisquer informações confidenciais, como nomes, endereços e números de cartão de crédito dos usuários. Para esse recurso, o IA Gateway usa o Presidio para detectar as seguintes categorias de PII dos EUA: números de cartão de crédito, endereços email, números de telefone, números de banco account e números de previdência social. O classificador de PII pode ajudar a identificar informações confidenciais ou PII em dados estruturados e não estruturados. No entanto, como ele usa mecanismos de detecção automatizados, não há garantia de que o serviço encontrará todas as informações confidenciais. Consequentemente, sistemas e proteções adicionais devem ser empregados. Esses métodos de classificação têm como escopo principal as categorias de PII dos EUA, como números de telefone e números de previdência social dos EUA.
Moderação de tópicos	Capacidade de listar um conjunto de tópicos permitidos. Dada uma solicitação de bate-papo, essa grade de proteção sinaliza a solicitação se o tópico não estiver nos tópicos permitidos.
Filtragem por palavra-chave	Os clientes podem especificar diferentes conjuntos de palavras-chave inválidas tanto para a entrada quanto para a saída. Um possível caso de uso da filtragem de palavras-chave é que o modelo não fale sobre concorrentes. Essa barreira usa correspondência de palavras-chave ou cadeias de caracteres para decidir se a palavra-chave existe no conteúdo da solicitação ou da resposta.

Usar IA Gateway

O senhor pode configurar o recurso IA Gateway em seu endpoint de modelo de serviço usando a Serving UI. Consulte Configurar o IA Gateway no endpoint do modelo de serviço.

Limitações

A seguir estão as limitações durante a pré-visualização:

O AI Gateway é compatível apenas com:
- Foundation Model APIs provisionamento Taxa de transferência servindo modelo endpoint.
- servindo modelo endpoint que serve modelos externos.
Quando AI guardrails são usados, o tamanho dos lotes de solicitação, ou seja, o tamanho dos lotes de embeddings, o tamanho dos lotes de complementos ou o parâmetro n das solicitações de chat, não pode exceder 16.
Para cargas de trabalho de Taxa de transferência de provisionamento, há suporte apenas para limitação de taxa e registro de carga útil usando tabelas de inferência habilitadas pelo AI Gateway.
Consulte Limitações da tabela de inferência habilitada para AI Gateway.
Se o senhor usar a chamada de função e especificar AI guardrails, esses guardrails não serão aplicados às solicitações e às respostas intermediárias da função. No entanto, as grades de proteção são aplicadas à resposta final da saída.