Mosaic AI Gateway

Prévia

Este artigo descreve o Mosaic AI Gateway, a solução Databricks para governar e monitorar o acesso a modelos de AI generativos compatíveis e seu endpoint de modelo de serviço associado.

O que é o Mosaic AI Gateway?

O Mosaic AI Gateway foi projetado para simplificar o uso e o gerenciamento de modelos de IA generativos em uma organização. É um serviço centralizado que traz governança, monitoramento e prontidão de produção para atender ao modelo de endpoint. Ele também permite que o senhor execute, proteja e controle o tráfego de AI para democratizar e acelerar a adoção da AI em sua organização.

Todos os dados são registrados em tabelas Delta em Unity Catalog.

Para começar a visualizar percepções a partir de seus dados do AI Gateway, acesse download o exemplo de painel do AI Gateway em GitHub. Esse painel aproveita os dados das tabelas de inferência de acompanhamento de uso e de registro de carga útil.

Depois de fazer download do arquivo JSON, importe o painel para seu workspace. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.

O IA Gateway é compatível com os seguintes recursos:

Permissão e limitação de taxa para controlar quem tem acesso e quanto acesso.
Registro de carga útil para monitorar e auditar os dados enviados às APIs do modelo usando tabelas de inferência.
Acompanhamento do uso para monitorar o uso operacional no endpoint e os custos associados usando tabelas do sistema.
IA Guardrails para evitar dados indesejados e dados inseguros em solicitações e respostas.
Roteamento de tráfego para minimizar as interrupções na produção durante e após a implantação.

O Mosaic AI Gateway incorre em cobranças com base no recurso ativado. Durante a visualização, esses recursos pagos incluem AI Guardrails, registro de carga útil e acompanhamento de uso. Recursos como permissões de consulta, limitação de taxa e roteamento de tráfego são gratuitos. Qualquer novo recurso está sujeito a cobrança.

Guardrails de IA

Os IA Guardrails permitem que os usuários configurem e apliquem os dados compliance no nível do modelo endpoint e reduzam o conteúdo prejudicial em qualquer solicitação enviada ao modelo subjacente. As solicitações e respostas incorretas são bloqueadas e uma mensagem default é retornada ao usuário. Veja como configurar grades de proteção em um modelo servindo endpoint.

Importante

Os IA Guardrails estão disponíveis apenas em regiões que suportam o Foundation Model APIs pay-per-tokens.

A tabela a seguir resume as grades de proteção configuráveis.

Guardrail	Definição
Filtragem de segurança	A filtragem de segurança impede que seu modelo interaja com conteúdo inseguro e prejudicial, como crimes violentos, automutilação e discurso de ódio. O filtro de segurança do IA Gateway é criado com o Meta Llama 3. Databricks usa o Llama Guard 2-8b como filtro de segurança. Para saber mais sobre o filtro de segurança Llama Guard e quais tópicos se aplicam ao filtro de segurança, consulte o cartão do modelo Meta Llama Guard 2 8B. O Meta Llama 3 está licenciado sob a Licença da comunidade LLAMA 3, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir compliance as licenças de modelo aplicáveis.
Detecção de informações de identificação pessoal (PII)	Os clientes podem detectar quaisquer informações confidenciais, como nomes, endereços e números de cartão de crédito dos usuários. Para esse recurso, o IA Gateway usa o Presidio para detectar as seguintes categorias de PII dos EUA: números de cartão de crédito, endereços email, números de telefone, números de banco account e números de previdência social. O classificador de PII pode ajudar a identificar informações confidenciais ou PII em dados estruturados e não estruturados. No entanto, como ele usa mecanismos de detecção automatizados, não há garantia de que o serviço encontrará todas as informações confidenciais. Consequentemente, sistemas e proteções adicionais devem ser empregados. Esses métodos de classificação têm como escopo principal as categorias de PII dos EUA, como números de telefone e números de previdência social dos EUA.
Moderação de tópicos	Capacidade de listar um conjunto de tópicos permitidos. Dada uma solicitação de bate-papo, essa grade de proteção sinaliza a solicitação se o tópico não estiver nos tópicos permitidos.
Filtragem por palavra-chave	Os clientes podem especificar diferentes conjuntos de palavras-chave inválidas tanto para a entrada quanto para a saída. Um possível caso de uso da filtragem de palavras-chave é que o modelo não fale sobre concorrentes. Essa barreira usa correspondência de palavras-chave ou cadeias de caracteres para decidir se a palavra-chave existe no conteúdo da solicitação ou da resposta.

Usar IA Gateway

O senhor pode configurar o recurso IA Gateway em seu endpoint de modelo de serviço usando a Serving UI. Consulte Configurar o IA Gateway no endpoint do modelo de serviço.

Limitações

A seguir estão as limitações durante a pré-visualização:

O IA Gateway é compatível apenas com endpoints que atendem a modelos externos.
Quando são usados guardrails, o tamanho do lote da solicitação, ou seja, o tamanho do lote de embeddings, o tamanho do lote de conclusões ou o parâmetro n das solicitações de chat, não pode exceder 16.