Início rápido
Siga estes guias de início rápido para começar a usar MLflow em seu aplicativo GenAI.
1. Configure seu ambiente
Siga o início rápido de configuração do seu ambiente para instalar o MLflow e conectar seu ambiente de desenvolvimento a um experimento MLflow.
2. Instrumentar seu aplicativo usando o MLflow Tracing
O MLflow Tracing ajuda o senhor a depurar e iterar seus aplicativos GenAI, capturando todo o fluxo de execução, inclusive prompts, recuperações e chamadas de ferramentas. Isso permite monitorar e melhorar a qualidade, o custo e a latência do seu aplicativo.
Com base em seu ambiente de desenvolvimento, siga o início rápido apropriado abaixo:
- Início rápido de rastreamento para IDE local
- Início rápido do rastreamento para o Databricks Notebook
2. Avalie a qualidade do seu aplicativo
O MLflow permite que o senhor melhore iterativamente a qualidade do seu aplicativo GenAI incorporando a avaliação diretamente ao seu fluxo de trabalho de desenvolvimento. Teste sistematicamente as alterações em prompts, modelos ou lógica de aplicativos usando o site mlflow.genai.evaluate()
com pontuadores personalizados e baseados em LLM.
3. Colete feedback humano
Incorpore o entendimento humano capturando o feedback de especialistas no domínio e de usuários finais para entender o comportamento desejado do aplicativo e alinhar suas LLM-judge métricas personalizadas com o julgamento de especialistas.
Próximas etapas
Continue sua jornada com estas ações recomendadas e o tutorial.
- Depure & observe seu aplicativo - Aprenda a usar traces para depuração e compreensão do comportamento do seu aplicativo
- Avalie & e melhore seu aplicativo - Mergulhe mais nas técnicas de avaliação e na melhoria da qualidade
Guia de referência
Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.
- Conceitos de rastreamento - Entenda os fundamentos do MLflow Tracing
- Conceitos de avaliação - Aprenda sobre pontuadores, juízes e metodologia de avaliação
- MLflow modelo de dados - Explore experimentos, traces e execução em profundidade