Passo a passo: IA e aprendizado de máquina em Databricks

Este artigo orienta você através de artigos que ajudam você a aprender como construir soluções de IA e LLM nativamente no Databricks. Os tópicos incluem os key passos do ciclo de vida completo da IA, desde a preparação de dados e construção de modelos até a implantação, monitoramento e MLOps.

Prepare seus dados para treinamento de modelo

Aprenda como carregar e processar seus dados para cargas de trabalho de IA, incluindo preparação de dados para ajuste fino de LLMs. Como preparar seus dados para treinamento de modelo

recursos engenharia

Com a engenharia de recursos disponível no Unity Catalog, aprenda como criar tabelas de recursos, rastrear a linhagem de recursos e descobrir recursos que outros já construíram.

Engenharia de recursos no Unity Catalog

modelos de ensino e registro

Aprenda como usar o AutoML para treinamento e ajuste eficientes de seus modelos de ML e o MLflow para acompanhamento de experimentos.

• ensinando modelos com AutoML

• registro de modelos no Unity Catalog

Produção em tempo real ou veiculação em lotes

Comece a usar o modelo de atividade para cargas de trabalho em tempo real ou modelos MLflow implantados para inferência offline.

• Serviço de modelo com Databricks

• modelos implantados para inferência de lotes

Modelos de grande linguagem auto-hospedados (LLMs)

Aprenda como hospedar LLMs de código aberto de forma segura e econômica em seu ambiente Databricks

• Modelo GPU encontrado

Monitorar modelos implantados

Aprenda como monitorar seus modelos de IA em produção. Capture e logs continuamente entradas e previsões de endpoint de modelo específico em uma tabela Delta usando tabelas de inferência, garantindo que você fique por dentro das métricas de desempenho do modelo. O Lakehouse Monitoring também permite que você saiba se você atende aos benchmarks desejados.

• Tabelas de inferência

Pacote ativo para implantação programática

Aprenda como usar pacotes Databricks ativo para empacotamento e implantação eficiente de todos os dados e IA ativo.

Pacotes ativos do Databricks

MLOps ponta a ponta

Veja como você pode usar Databricks para combinar DataOps, ModelOps e DevOps para operações completas de ML e LLM para seu aplicativo de IA.

MLOps em Databricks

Crie soluções RAG baseadas em LLM

Aprenda como criar aplicativos com tecnologia LLM aproveitando seus dados. Use RAG (geração aumentada de recuperação) com LLMs para construir chatbots de perguntas e respostas que fornecem respostas mais precisas.

Fluxo de trabalho “RAG” (Vector Search + modelo interativo)

Recursos adicionais

Se os passos descritos acima não atenderem às suas necessidades, uma grande quantidade de informações está disponível na documentação do Machine Learning.