Mosaic AI Gateway
Prévia
Esse recurso está em Prévia Pública.
Este artigo descreve o Mosaic AI Gateway, a solução Databricks para governar e monitorar o acesso a modelos de AI generativos compatíveis e seu endpoint de modelo de serviço associado.
O que é o Mosaic AI Gateway?
O Mosaic AI Gateway foi projetado para simplificar o uso e o gerenciamento de modelos de IA generativos em uma organização. É um serviço centralizado que traz governança, monitoramento e prontidão de produção para atender ao modelo de endpoint. Ele também permite que o senhor execute, proteja e controle o tráfego de AI para democratizar e acelerar a adoção da AI em sua organização.
Todos os dados são registrados em tabelas Delta em Unity Catalog.
O IA Gateway é compatível com os seguintes recursos:
Permissão e limitação de taxa para controlar quem tem acesso e quanto acesso.
Registro de carga útil para monitorar e auditar os dados enviados às APIs do modelo usando tabelas de inferência.
Acompanhamento do uso para monitorar o uso operacional no endpoint e os custos associados usando tabelas do sistema.
IA Guardrails para evitar dados indesejados e dados inseguros em solicitações e respostas.
Roteamento de tráfego para minimizar as interrupções na produção durante e após a implantação.
O Mosaic AI Gateway incorre em cobranças com base no recurso ativado. Durante a visualização, esses recursos pagos incluem IA Guardrails, registro de carga útil e acompanhamento de uso. Recursos como permissões de consulta, limitação de taxa e roteamento de tráfego são gratuitos. Qualquer novo recurso está sujeito a cobranças.
Guardrails de IA
Os IA Guardrails permitem que os usuários configurem e apliquem os dados compliance no nível do modelo endpoint e reduzam o conteúdo prejudicial em qualquer solicitação enviada ao modelo subjacente. As solicitações e respostas incorretas são bloqueadas e uma mensagem default é retornada ao usuário. Veja como configurar grades de proteção em um modelo servindo endpoint.
Importante
Os IA Guardrails estão disponíveis apenas em regiões que suportam o Foundation Model APIs pay-per-tokens.
A tabela a seguir resume as grades de proteção configuráveis.
Guardrail |
Definição |
---|---|
Filtragem de segurança |
A filtragem de segurança impede que seu modelo interaja com conteúdo inseguro e prejudicial, como crimes violentos, automutilação e discurso de ódio. O filtro de segurança do IA Gateway é criado com o Meta Llama 3. Databricks usa o Llama Guard 2-8b como filtro de segurança. Para saber mais sobre o filtro de segurança Llama Guard e quais tópicos se aplicam ao filtro de segurança, consulte o cartão do modelo Meta Llama Guard 2 8B O Meta Llama 3 está licenciado sob a Licença da comunidade LLAMA 3, Copyright © Meta Platforms, Inc. Todos os direitos reservados. Os clientes são responsáveis por garantir compliance as licenças de modelo aplicáveis. |
Detecção de informações de identificação pessoal (PII) |
Os clientes podem detectar quaisquer informações confidenciais (como nomes, endereços, números de cartão de crédito) dos usuários. Para esse recurso, o IA Gateway usa o Presidio. O classificador de PII pode ajudar a identificar informações confidenciais ou PII em dados estruturados e não estruturados. No entanto, como ele usa mecanismos de detecção automatizados, não há garantia de que o serviço encontrará todas as informações confidenciais. Consequentemente, sistemas e proteções adicionais devem ser empregados. Esses métodos de classificação têm como escopo principal as categorias de PII dos EUA, como números de telefone e números de previdência social dos EUA. |
Moderação de tópicos |
Capacidade de listar um conjunto de tópicos permitidos. Dada uma solicitação de bate-papo, essa grade de proteção sinaliza a solicitação se o tópico não estiver nos tópicos permitidos. |
Filtragem por palavra-chave |
Os clientes podem especificar diferentes conjuntos de palavras-chave inválidas tanto para a entrada quanto para a saída. Um possível caso de uso da filtragem de palavras-chave é que o modelo não fale sobre concorrentes. Essa barreira usa correspondência de palavras-chave ou cadeias de caracteres para decidir se a palavra-chave existe no conteúdo da solicitação ou da resposta. |
Usar IA Gateway
O senhor pode configurar o recurso IA Gateway em seu endpoint de modelo de serviço usando a Serving UI. Consulte Configurar o IA Gateway no endpoint do modelo de serviço.
Limitações
A seguir estão as limitações durante a pré-visualização:
O IA Gateway é compatível apenas com endpoints que atendem a modelos externos.
O IA Gateway não é compatível com o espaço de trabalho HIPAA.
Quando são usados guardrails, o tamanho do lote da solicitação, ou seja, o tamanho do lote de embeddings, o tamanho do lote de conclusões ou o parâmetro
n
das solicitações de chat, não pode exceder 16.