Início rápido: conecte seu ambiente de desenvolvimento ao MLflow
Esta página mostra como criar um experimento MLflow e conectar seu ambiente de desenvolvimento a ele.
Um experimento MLflow é o contêiner do seu aplicativo gen AI. Saiba mais sobre os experimentos do MLflow no guia de conceito do modelo de dados do experimento.
Vá para a seção relevante ao seu ambiente de desenvolvimento:
Ambiente de desenvolvimento local
Etapa 1: Instalar o MLflow
Instalar o MLflow com conectividade Databricks:
pip install --upgrade "mlflow[databricks]>=3.1"
Etapa 2: Criar um experimento MLflow
- Abra o site Databricks workspace.
- Na barra lateral esquerda, em AI/ML , clique em Experiments (Experimentos ).
- Na parte superior da página Experimentos, clique em GenAI apps & agents .
Etapa 3: configurar a autenticação
Estas etapas descrevem o uso de tokens de acesso pessoal Databricks. O MLflow também funciona com os outros métodos de autenticação compatíveis com o Databricks.
Escolha um dos seguintes métodos de autenticação:
- Environment Variables
- .env File
- Em seu experim ento MLflow , clique em Generate API key (Gerar chave ).
- Copie e execute o código gerado em seu terminal:
export DATABRICKS_TOKEN=<databricks-personal-access-token>
export DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
export MLFLOW_TRACKING_URI=databricks
export MLFLOW_EXPERIMENT_ID=<experiment-id>
- Em seu experim ento MLflow , clique em Generate API key (Gerar chave ).
- Copie o código gerado para um arquivo
.env
na raiz do seu projeto:
DATABRICKS_TOKEN=<databricks-personal-access-token>
DATABRICKS_HOST=https://<workspace-name>.cloud.databricks.com
MLFLOW_TRACKING_URI=databricks
MLFLOW_EXPERIMENT_ID=<experiment-id>
- Instale o pacote
python-dotenv
:
pip install python-dotenv
- Carregue a variável de ambiente em seu código:
# At the beginning of your Python script
from dotenv import load_dotenv
# Load environment variables from .env file
load_dotenv()
Etapa 4: verifique sua conexão
Crie um arquivo de teste e execute esse código para verificar sua conexão e log um rastreamento de teste para sua experiência MLflow:
import mlflow
import os
experiment_id = os.environ.get("MLFLOW_EXPERIMENT_ID")
databricks_host = os.environ.get("DATABRICKS_HOST")
mlflow_tracking_uri = os.environ.get("MLFLOW_TRACKING_URI")
if experiment_id is None or databricks_host is None or mlflow_tracking_uri is None:
raise Exception("Environment variables are not configured correctly.")
@mlflow.trace
def hello_mlflow(message: str):
hello_data = {
"experiment_url": f"{databricks_host}/mlflow/experiments/{experiment_id}",
"experiment_name": mlflow.get_experiment(experiment_id=experiment_id).name,
"message": message,
}
return hello_data
result = hello_mlflow("hello, world!")
print(result)
Desenvolver em um Notebook hospedado no Databricks
Etapa 1: Criar um notebook
A criação de um Databricks Notebook cria um experimento MLflow que é o contêiner do seu aplicativo GenAI. Para saber mais sobre experimentos, consulte o modelo de dados.
- Abra o site Databricks workspace.
- Vá para Novo na parte superior da barra lateral esquerda.
- Clique em Notebook .
Etapa 2: Instalar o MLflow
Os tempos de execução do Databricks incluem o MLflow, mas para obter a melhor experiência com os recursos do GenAI, atualize para a versão mais recente:
%pip install --upgrade "mlflow[databricks]>=3.1"
dbutils.library.restartPython()
Etapa 3: configurar a autenticação
Nenhuma configuração de autenticação adicional é necessária ao trabalhar em um Databricks Notebook. O Notebook tem acesso automático ao seu site workspace e ao experimento MLflow associado.
Etapa 4: verifique sua conexão
Execute esse código em uma célula do Notebook para verificar sua conexão. O senhor verá um rastro MLflow aparecer abaixo da célula do Notebook.
import mlflow
import os
@mlflow.trace
def hello_mlflow(message: str):
hello_data = {
"message": message,
}
return hello_data
result = hello_mlflow("hello, world!")
print(result)
Próximas etapas
Continue sua jornada com estas ações recomendadas e o tutorial.
- Instrumentar seu aplicativo com rastreamento (IDE) - Adicione MLflow Tracing ao seu aplicativo GenAI em um IDE local
- Instrumentar seu aplicativo com rastreamento (Notebook ) - Adicionar MLflow Tracing em um Databricks Notebook
- Avalie a qualidade do seu aplicativo - Teste e melhore sistematicamente a qualidade do seu aplicativo
Guia de referência
Explore a documentação detalhada dos conceitos e recursos mencionados neste guia.
- Experimentos MLflow - Entenda o contêiner de experimentos para seu aplicativo GenAI
- Conceitos de rastreamento - Aprenda os fundamentos do MLflow Tracing
- Autenticação do Databricks - Explore todos os métodos de autenticação disponíveis