código aberto vs. gerenciar MLflow no Databricks

Esta página tem como objetivo ajudar os usuários do MLflow de código aberto a se familiarizarem com o uso do MLflow no Databricks. Databricks-gerenciar MLflow usa as mesmas APIs , mas oferece recursos adicionais por meio de integrações com a plataforma Databricks em geral.

Benefícios de gerenciar MLflow no Databricks

O MLflow de código aberto fornece o modelo de dados principal, a API e o SDK. Isso significa que seus dados e cargas de trabalho são sempre portáteis.

Gerenciar MLflow no Databricks adiciona:

• Governança e segurança de nível empresarial por meio da integração com a plataforma Databricks , Lakehouse e Unity Catalog. Seus dados, ferramentas, agentes, modelos e outros ativos AI e ML podem ser gerenciados e usados na mesma plataforma que o restante de seus dados e cargas de trabalho.
• hospedagem totalmente gerenciada em servidores escaláveis e prontos para produção
• Integrações para desenvolvimento e produção com a plataforma Mosaic AI em geral.

Consulte a página do produto MLflow para obter mais detalhes sobre os benefícios e veja o restante desta página para saber mais sobre os detalhes técnicos.

dica

Seus dados são sempre seus - O modelo de dados principal e as APIs são totalmente de código aberto. Você pode exportar e usar seus dados do MLflow em qualquer lugar.

Funcionalidades adicionais no Databricks

Esta seção lista importantes funcionalidades habilitadas no MLflow por meio de integrações com a plataforma Databricks em geral. Para obter uma visão geral de todos os recursos do MLflow para GenAI, consulte MLflow 3 para GenAI e a documentação de código aberto do GenAI.

Governança e segurança de nível empresarial

• Governança corporativa com Unity Catalog : Modelos, tabelas de recursos, índices vetoriais, ferramentas e muito mais são gerenciados centralmente pelo Unity Catalog. Ao implantar agentes, a autenticação para acesso a agentes, dados e ferramentas pode ser controlada com precisão, utilizando tanto a autenticação direta quanto a autenticação em nome do usuário.

• Integração de dados do Lakehouse : Aproveite os espaços e painéis AI/BI Genie spaces e Databricks SQL para analisar logs e rastreamentos de experimentos MLflow .

• Segurança e gerenciamento : as permissões do MLflow seguem os mesmos padrões de governança da plataforma Databricks em geral:

  • Objetos do espaço de trabalho, como experimentos, seguem as permissõesworkspace.
  • Objetos do Unity Catalog, como modelos registrados, seguem os privilégios do Unity Catalog.
  • A autenticação e o acesso à interface do usuário e à API são compatíveis com a plataforma Databricks e a API REST.

• Auditoria : As tabelas do sistema fornecem logs de uso e auditoria para o gerenciamento MLflow.

alojamento totalmente gerido em servidores prontos para produção

• Totalmente gerenciado : Databricks fornece servidores MLflow com atualizações automáticas, projetados para escalabilidade e produção. Para mais detalhes, consulte os limites de recursos.
• Plataforma confiável : gerenciar MLflow é utilizado por milhares de clientes em todo o mundo.

Integrações para desenvolvimento e produção

O desenvolvimento de AI e ML é otimizado por integrações como:

• IntegraçãoNotebook : os notebooks Databricks se conectam automaticamente ao servidor MLflow e podem usar tanto experimentos em notebooks quanto experimentos workspace para acompanhamento e compartilhamento de resultados. Databricks Notebook oferece suporte ao registro automático para acompanhamento MLflow. Para o GenAI, Databricks Notebook pode exibir uma interface de usuário de rastreamento embutida para análise interativa.
• Ferramentas de feedback humano do GenAI : Para avaliação do GenAI, Databricks fornece um aplicativo de avaliação para feedback humano que inclui uma interface de bate-papo para verificações de compatibilidade e uma interface de feedback de especialistas para rastreamento de rótulos.

AI e ML de produção são facilitados por integrações como:

• Infrastructure-as-Code para CI/CD : gerencie experimentos, modelos e muito mais MLflow com Databricks Ativo Bundles e MLOps Stacks.
• Implantação de modelos usando CI/CD : O Job de implantaçãoMLflow 3 integra Databricks Workflows com Unity Catalog para automatizar a implantação em etapas de modelos ML .
• IntegraçãoFeature Store : A integração doDatabricks Feature Store com MLflow proporciona uma implementação mais simples para modelos ML que utilizam tabelas de recursos.
• Monitoramento de produção GenAI : Databricks oferece um serviço de monitoramento de produção que avalia continuamente uma amostra do seu tráfego de produção usando juízes e avaliadores LLM . Isso é possível graças à ingestão de rastreamento do production-escala , que inclui o armazenamento de rastreamentos em tabelas Unity Catalog .

nota

A coleta de telemetria de código aberto foi introduzida no MLflow 3.2.0. e está desativado por default no Databricks . Para obter mais detalhes, consulte a documentação de acompanhamento de usoMLflow.

Próximas etapas

Comece a usar MLflow no Databricks:

• Crie uma accountde avaliação gratuitaDatabricks para usar Databricks-gerenciar MLflow
• Tutorial: Conecte seu ambiente de desenvolvimento ao MLflow
• Começar: MLflow 3 para GenAI
• Comece a usar MLflow 3 para modelos.

Material de referência relacionado:

• Documentação de código aberto do MLflow para GenAI
• API REST do Databricks, que inclui a API do MLflow.
• SDKs do Databricks, que incluem operações do MLflow.