MLflow no Databricks

Este artigo descreve como MLflow o site on Databricks é usado para desenvolver agentes generativos de alta qualidade AI e modelos de aprendizado de máquina.

nota

Se o senhor estiver começando a usar o Databricks, considere experimentar o MLflow no Databricks Free Edition.

O que é o MLflow?

MLflow é a maior plataforma de engenhariaAI de código aberto para agentes, LLMs e modelos ML . MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações AI com qualidade de produção, controlando custos e gerenciando o acesso a modelos e dados. Com mais de 30 milhões de downloads mensais, milhares de organizações confiam no MLflow diariamente para implementar AI em produção com segurança.

O conjunto abrangente de recursos do MLflow para agentes e aplicações LLM inclui observabilidade de nível de produção, avaliação, gerenciamento de prompts, um GatewayAI para gerenciar custos e acesso a modelos, e muito mais.

Para o desenvolvimento de modelos machine learning (ML), MLflow oferece acompanhamento de experimentos, recursos de avaliação de modelos, um registro de modelos de produção e ferramentas de implantação de modelos.

O MLflow é compatível com qualquer provedor de LLM, framework de agentes, biblioteca de ML e linguagem de programação. O MLflow fornece SDKs nativos para Python, TypeScript/JavaScript, Java e R.

MLflow 3

O MLflow 3 no Databricks oferece observabilidade, avaliação e gerenciamento ágil de última geração para agentes e aplicações LLM. Para o desenvolvimento de modelos ML , MLflow 3 oferece acompanhamento de experimentos, avaliação de modelos, um registro de modelos de produção e ferramentas de implantação de modelos. Usando o MLflow 3 no Databricks, você pode:

• Rastreie e analise de forma centralizada o desempenho de seus modelos, aplicativos AI e agentes em todos os ambientes, desde consultas interativas em um Notebook de desenvolvimento até lotes de produção ou implantações de tempo real.

  

• Orquestre a avaliação e o fluxo de trabalho de implantação usando Unity Catalog e acesse o status abrangente logs para cada versão do seu modelo, aplicativo AI ou agente.

  

• visualize e acesse as métricas e os parâmetros do modelo na página da versão do modelo em Unity Catalog e no site REST API.

  

• Anotar solicitações e respostas (traces ) para todos os seus aplicativos e agentes gen AI, permitindo que especialistas humanos e técnicas automatizadas (como o LLM-as-a-judge) forneçam feedback rico. O senhor pode aproveitar esse feedback para avaliar e comparar o desempenho das versões do aplicativo e criar um conjunto de dados para melhorar a qualidade.

  

Esses recursos simplificam e agilizam a avaliação, a implementação, a depuração e o monitoramento de todas as suas iniciativas de AI.

MLflow 3 também apresenta os conceitos de modelos registrados e trabalhos de implantação.

• Os modelos registrados ajudam o senhor a acompanhar o progresso de um modelo durante todo o seu ciclo de vida. Quando o senhor log um modelo usando log_model(), é criado um LoggedModel que persiste durante todo o ciclo de vida do modelo, em diferentes ambientes e execuções, e contém links para artefatos como metadados, métricas, parâmetros e o código usado para gerar o modelo. O senhor pode usar os modelos registrados para comparar modelos entre si, encontrar o modelo de melhor desempenho e rastrear informações durante a depuração.
• O trabalho de implantação pode ser usado para gerenciar o ciclo de vida do modelo, incluindo etapas como avaliação, aprovação e implantação. Esses modelos de fluxo de trabalho são regidos pelo site Unity Catalog, e todos os eventos são salvos em uma atividade log que está disponível na página da versão do modelo em Unity Catalog.

Consulte os artigos a seguir para instalar e começar a usar o MLflow 3.

• Comece com MLflow 3 para modelos.
• Acompanhe e compare modelos usando MLflow modelos logados.
• Model Registry melhorias com MLflow 3.
• MLflow 3 implantação Trabalho.

Databricks-gerenciar MLflow

Databricks oferece uma versão totalmente gerenciada e hospedada do MLflow, com base na experiência do código aberto para torná-lo mais robusto e dimensionável para uso corporativo.

Agentes e candidaturas ao LLM

MLflow no Databricks oferece uma plataforma completa para desenvolver, avaliar e monitorar agentes e aplicações LLM .

• Observabilidade: MLflow Tracing registra as entradas, saídas e metadados associados a cada etapa intermediária de uma solicitação, permitindo que você encontre rapidamente a origem de comportamentos inesperados nos agentes.
• Avaliação: Utilize a Avaliação de Agentes da Mosaic AI para medir e melhorar a qualidade dos agentes, com tecnologia de avaliação do MLflow.
• Gerenciamento de prompts: versionar, gerenciar e iterar sobre os padrões de prompts usados em seus aplicativos AI .
• Desenvolvimento de agentes: Utilize o Mosaic AI Agent Framework para criar agentes, que depende do MLflow para rastrear o código do agente, as métricas de desempenho e os registros.
• Interativo: Use Genie Code para observabilidade e avaliação de agentes, permitindo acesso em linguagem natural a rastreamentos, execução de avaliações, avaliadores e muito mais em seu experimento MLflow .

Desenvolvimento de modelosML

MLflow no Databricks oferece acompanhamento de experimentos, avaliação de modelos, um registro de modelos de produção e ferramentas de implantação de modelos para o desenvolvimento de modelos ML .

O diagrama a seguir mostra como o Databricks se integra ao MLflow para treinar e implantar o modelo de aprendizado de máquina.

Databricks-gerenciar MLflow foi desenvolvido com base em Unity Catalog e no lago de dados da nuvem para unificar todos os seus dados e AI ativos no ciclo de vida ML:

1. recurso store: Databricks pesquisas automatizadas de recurso simplificam a integração e reduzem os erros.
2. Treine modelos: Use o Mosaic AI para treinar modelos ou ajustar modelos básicos.
3. acompanhamento : MLflow acompanha o treinamento registrando parâmetros, métricas e artefatos para avaliar e comparar o desempenho do modelo.
4. Model Registry: MLflow Model Registry, integrado ao Unity Catalog, centraliza os modelos e artefatos do AI.
5. servindo modelo: Mosaic AI Model Serving implantado modelos para a REST API endpoint.
6. monitoramento: o site Mosaic AI Model Serving captura automaticamente solicitações e respostas para monitorar e depurar modelos. O MLflow aumenta esses dados com dados de rastreamento para cada solicitação.

Modelo treinamento

MLflow Os modelos estão no centro do desenvolvimento de AI e ML em Databricks. MLflow AI Os modelos são um formato padronizado para empacotar modelos de aprendizado de máquina e agentes generativos. O formato padronizado garante que os modelos e agentes possam ser usados por ferramentas downstream e fluxo de trabalho em Databricks.

• Documentação do MLflow - Modelos.

Databricks fornece recurso para ajudá-lo a treinar diferentes tipos de modelos ML.

• Treine os modelos AI usando Mosaic AI.

Experimentar acompanhamento

A Databricks usa experimentos MLflow como unidades organizacionais para acompanhar seu trabalho durante o desenvolvimento de modelos.

O acompanhamento de experimentos permite que o senhor log e gerencie parâmetros, métricas, artefatos e versões de código durante o treinamento de aprendizado de máquina e o desenvolvimento de agentes. A organização do logs em experimentos e execução permite comparar modelos, analisar o desempenho e iterar com mais facilidade.

• Acompanhamento de experimentos usando Databricks o site.
• Consulte a documentação do site MLflow para obter informações gerais sobre execução e acompanhamento de experimentos.

Model Registry com Unity Catalog

O MLflow Model Registry é um repositório de modelos centralizado, uma interface de usuário e um conjunto de APIs para gerenciar o processo de implantação de modelos.

A Databricks integra o Model Registry ao Unity Catalog para fornecer governança centralizada para modelos. Unity Catalog permite que o senhor acesse modelos em todo o espaço de trabalho, acompanhe a linhagem do modelo e descubra modelos para reutilização.

• gerenciar modelos usando Databricks Unity Catalog .
• Consulte a documentação do site MLflow para obter informações gerais sobre o Model Registry.

servindo modelo

Databricks O servindo modelo é totalmente integrado ao MLflow Model Registry e oferece uma interface unificada e escalonável para implantar, governar e consultar modelos AI. Cada modelo que o senhor atende está disponível como uma API REST que pode ser integrada a aplicativos da Web ou de clientes.

Embora sejam componentes distintos, o servindo modelo depende muito do MLflow Model Registry para lidar com o controle de versão do modelo, o gerenciamento de dependências, a validação e a governança.

• servindo modelo usando Databricks.

código aberto vs. Databricks-gerenciar MLflow recurso

Para conhecer os conceitos gerais do MLflow, APIs e os recursos compartilhados entre as versões do código aberto e do Databricks-gerenciar, consulte a documentação doMLflow. Para o recurso exclusivo do Databricks-gerenciar MLflow, consulte a documentação da Databricks.

A tabela a seguir destaca as diferenças key entre o código aberto MLflow e Databricks-gerenciar MLflow e fornece links de documentação para ajudá-lo a saber mais:

Recurso	Disponibilidade no MLflow de código aberto	Disponibilidade em Databricks-gerenciar MLflow
Segurança	O usuário deve fornecer sua própria camada de governança de segurança	Segurança de nível empresarial da Databricks
Recuperação de desastres	Indisponível	Recuperação de desastres da Databricks
Acompanhamento de experimentos	API de acompanhamento do MLflow	MLflow acompanhamento API integrado com Databricks acompanhamento avançado de experimentos
Registro de modelos	MLflow Model Registry	MLflow Model Registry integrado com Databricks Unity Catalog
Integração com o Unity Catalog	Integração de código aberto com o Unity Catalog	Databricks Unity Catalog
Implantação de modelos	Integrações configuradas pelo usuário com soluções de serviço externas (SageMaker, Kubernetes, serviços de contêineres, etc.)	Databricks servindo modelo e soluções de serviço externo
AI agentes	Desenvolvimento do MLflow LLM	MLflow LLM desenvolvimento integrado com Mosaic AI Agent Framework e Agent Evaluation
Criptografia	Indisponível	Criptografia usando a chave gerenciadora do cliente

nota

A coleta de telemetria de código aberto foi introduzida no MLflow 3.2.0. e está desativado em Databricks por default . Para obter mais detalhes, consulte a documentação de acompanhamento de uso doMLflow.