Configurar o IA Gateway no endpoint do modelo de serviço

Neste artigo, o senhor aprenderá a configurar oMosaic AI Gateway em um modelo de serviço endpoint.

Requisitos

A Databricks workspace na região suportada pelo modelo de serviço.
Complete os passos 1 e 2 de Create an external servindo modelo endpoint.

Configurar o IA Gateway usando a interface do usuário

A seguir, mostramos como configurar o IA Gateway durante a criação do site endpoint usando a UI de serviço.

Na seção IA Gateway da página de criação endpoint, é possível configurar individualmente os seguintes recursos do IA Gateway:

Recurso	Como habilitar	Detalhes
Uso acompanhamento	Selecione Ativar acompanhamento de uso para ativar o acompanhamento e o monitoramento do uso de dados métricos.	O senhor deve ter o Unity Catalog ativado. Os administradores de conta devem ativar o esquema de tabela do sistema de serviço antes de usar as tabelas do sistema: `system.serving.endpoint_usage`, que captura a contagem de tokens de cada solicitação para o site endpoint e `system.serving.served_entities`, que armazena metadados para cada modelo externo. Ver Uso de esquemas de tabelas de acompanhamento Somente os administradores do account têm permissão para view ou consultar a tabela `served_entities` ou `endpoint_usage`, embora o usuário que gerenciar o endpoint deva habilitar o acompanhamento do uso. Consulte Conceder acesso às tabelas do sistema A contagem de tokens de entrada e saída é estimada como (`text_length`+1)/4 se a contagem de tokens não for retornada pelo modelo.
Registro de carga útil	Selecione Enable inference tables (Ativar tabelas de inferência ) para automaticamente log solicitações e respostas de seu endpoint em Delta tabelas gerenciadas por Unity Catalog.	O senhor deve ter o Unity Catalog ativado e acesso `CREATE_TABLE` no esquema de catálogo especificado. As tabelas de inferência ativadas pelo IA Gateway têm um esquema diferente daquelas criadas para o endpoint que serve modelos personalizados. Consulte o esquema da tabela de inferência habilitada para IA Gateway. Os dados de registro de carga útil preenchem essas tabelas menos de uma hora após a consulta ao endpoint. As cargas úteis maiores que 1 MB não são registradas. A carga útil da resposta agrega a resposta de todos os fragmentos retornados. A transmissão é suportada. Em cenários de transmissão, a carga útil da resposta agrega a resposta dos pedaços retornados.
Guardrails de IA	Consulte Configurar IA Guardrails na interface do usuário.	As grades de proteção evitam que o modelo interaja com conteúdo inseguro e prejudicial que é detectado nas entradas e saídas do modelo. Os guardrails de saída não são compatíveis com os modelos de incorporação ou de transmissão.
Limites de taxa	O senhor pode impor limites de taxa de solicitação para gerenciar o tráfego do seu endpoint por usuário e por endpoint	Os limites de taxa são definidos em consultas por minuto (QPM). O default é No limit tanto por usuário quanto por endpoint.
Roteamento de tráfego	Para configurar o roteamento de tráfego em seu endpoint, consulte Servir vários modelos externos a um endpoint.

Configurar IA Guardrails na interface do usuário

A tabela a seguir mostra como configurar os guardrails suportados.

Guardrail	Como habilitar	Detalhes
Segurança	Selecione Segurança para ativar salvaguardas para impedir que seu modelo interaja com conteúdo inseguro e prejudicial.
Detecção de informações de identificação pessoal (PII)	Selecione Detecção de PII para detectar dados de PII, como nomes, endereços e números de cartão de crédito.
Tópicos válidos	Você pode digitar tópicos diretamente nesse campo. Se você tiver várias entradas, certifique-se de pressionar enter após cada tópico. Como alternativa, o senhor pode acessar upload um arquivo `.csv` ou `.txt`.	Um máximo de 50 tópicos válidos podem ser especificados. Cada tópico não pode exceder 100 caracteres
Palavras-chave inválidas	Você pode digitar tópicos diretamente nesse campo. Se você tiver várias entradas, certifique-se de pressionar enter após cada tópico. Como alternativa, o senhor pode acessar upload um arquivo `.csv` ou `.txt`.	É possível especificar no máximo 50 palavras-chave inválidas. Cada palavra-chave não pode exceder 100 caracteres.

Uso de esquemas de tabelas de acompanhamento

A tabela do sistema de acompanhamento de uso system.serving.served_entities tem o seguinte esquema:

Nome da coluna	Descrição	Tipo
`served_entity_id`	O ID exclusivo da entidade atendida.	String
`account_id`	O cliente account ID para Delta Sharing.	String
`workspace_id`	O cliente workspace ID do serviço endpoint.	String
`created_by`	O ID do criador.	String
`endpoint_name`	O nome do endpoint de serviço.	String
`endpoint_id`	A ID exclusiva do endpoint de serviço.	String
`served_entity_name`	O nome da entidade atendida.	String
`entity_type`	Tipo da entidade que é atendida. Pode ser `FEATURE_SPEC`, `EXTERNAL_MODEL`, `FOUNDATION_MODEL` ou `CUSTOM_MODEL`	String
`entity_name`	O nome subjacente da entidade. Diferente do `served_entity_name`, que é um nome fornecido pelo usuário. Por exemplo, `entity_name` é o nome do modelo do Unity Catalog.	String
`entity_version`	A versão da entidade servida.	String
`endpoint_config_version`	A versão da configuração do site endpoint.	INT
`task`	O tipo de tarefa. Pode ser `llm/v1/chat`, `llm/v1/completions` ou `llm/v1/embeddings`.	String
`external_model_config`	Configurações para modelos externos. Por exemplo, `{Provider: OpenAI}`	struct
`foundation_model_config`	Configurações para modelos de fundação. Por exemplo,`{min_provisioned_throughput: null, max_provisioned_throughput: null, pt_model_type: mpt-7b}`	struct
`custom_model_config`	Configurações para modelos personalizados. Por exemplo,`{ min_concurrency: 0, max_concurrency: 4, compute_type: CPU }`	struct
`feature_spec_config`	Configurações para especificações de recurso. Por exemplo, `{ min_concurrency: 0, max_concurrency: 4, compute_type: CPU }`	struct
`change_time`	Carimbo de data e hora da mudança para a entidade atendida.	Timestamp
`endpoint_delete_time`	Carimbo de data e hora da exclusão da entidade. O endpoint é o contêiner da entidade atendida. Depois que o endpoint é excluído, a entidade servida também é excluída.	Timestamp

A tabela do sistema de acompanhamento de uso system.serving.endpoint_usage tem o seguinte esquema:

Nome da coluna	Descrição	Tipo
`account_id`	O cliente account ID.	String
`workspace_id`	O cliente workspace id do serviço endpoint.	String
`client_request_id`	O identificador de solicitação fornecido pelo usuário que pode ser especificado no corpo da solicitação do modelo de serviço.	String
`databricks_request_id`	Um identificador de solicitação gerado pelo site Databricks anexado a todas as solicitações de servindo modelo.	String
`requester`	O ID do usuário ou da entidade de serviço cujas permissões são usadas para a solicitação de invocação do serviço endpoint.	String
`status_code`	O código de status HTTP que foi retornado do modelo.	Integer
`request_time`	A data e hora em que a solicitação é recebida.	Timestamp
`input_token_count`	A contagem de tokens da entrada.	Long
`output_token_count`	A contagem de tokens da saída.	Long
`input_character_count`	A contagem de caracteres das cadeias de caracteres de entrada ou do prompt.	Long
`output_character_count`	A contagem de caracteres das strings de saída da resposta.	Long
`usage_context`	O mapa fornecido pelo usuário contendo identificadores do usuário final ou do aplicativo do cliente que faz a chamada para o endpoint.	Mapa
`request_streaming`	Se a solicitação está no modo de transmissão.	Booleana
`served_entity_id`	O ID exclusivo usado para join com a tabela de dimensão `system.serving.served_entities` para procurar informações sobre a entidade endpoint e servida.	String

Esquema de tabela de inferência habilitado para IA Gateway

As tabelas de inferência ativadas usando o IA Gateway têm o seguinte esquema:

Nome da coluna	Descrição	Tipo
`request_date`	A data UTC em que a solicitação do modelo de serviço foi recebida.	Data
`databricks_request_id`	Um identificador de solicitação gerado pelo site Databricks anexado a todas as solicitações de servindo modelo.	String
`client_request_id`	Um identificador de solicitação opcional gerado pelo cliente que pode ser especificado no corpo da solicitação do modelo de serviço.	String
`request_time`	A data e hora em que a solicitação é recebida.	Timestamp
`status_code`	O código de status HTTP que foi retornado do modelo.	INT
`sampling_fraction`	A fração de amostragem usada no caso de a solicitação ter sido reduzida. Esse valor está entre 0 e 1, em que 1 representa que 100% das solicitações recebidas foram incluídas.	double
`execution_duration_ms`	O tempo em milissegundos durante o qual o modelo realizou a inferência. Isso não inclui latências de rede aérea e representa apenas o tempo necessário para o modelo gerar previsões.	BIGINT
`request`	O corpo bruto da solicitação JSON que foi enviado para o modelo de serviço endpoint.	String
`response`	O corpo da resposta bruta JSON que foi retornado pelo modelo de serviço endpoint.	String
`served_entity_id`	O ID exclusivo da entidade atendida.	String
`logging_error_codes`		matriz
`requester`	O ID do usuário ou da entidade de serviço cujas permissões são usadas para a solicitação de invocação do serviço endpoint.	String

Atualizar recurso do IA Gateway no endpoint

O senhor pode atualizar os recursos do IA Gateway nos endpoints que os tinham ativados anteriormente e nos endpoints que não os tinham. As atualizações das configurações do IA Gateway levam cerca de 20 a 40 segundos para serem aplicadas, mas as atualizações de limitação de taxa podem levar até 60 segundos.

A seguir, mostramos como atualizar o recurso do IA Gateway em um modelo de serviço endpoint usando a Serving UI.

Na seção Gateway da página endpoint, é possível ver quais recursos estão ativados. Para atualizar esses recursos, clique em Edit IA Gateway.

Notebook exemplo

O Notebook a seguir mostra como ativar e usar programaticamente o recurso Databricks Mosaic AI Gateway para gerenciar e administrar modelos de provedores.

Habilitar Databricks Mosaic AI Gateway recurso Notebook

Abra o bloco de anotações em outra guia