ステップバイステップ: Databricksでの AI と機械学習

この記事では、Databricks で AI と LLM のソリューションをネイティブに構築する方法を学習するのに役立つ記事を紹介します。 トピックには、データの準備とモデルの構築からデプロイ、モニタリング、MLOps まで、エンドツーエンドの AI ライフサイクルの主要なステップが含まれます。

モデル トレーニング用のデータを準備する

ファインチューニング LLM のデータ準備など、AI ワークロード用のデータを読み込んで処理する方法を学びます。 モデル トレーニング用にデータを準備する方法

特徴量エンジニアリング

Unity Catalog で利用できる特徴エンジニアリングを使用して、特徴量テーブルの作成方法、特徴のリネージの追跡方法、他のユーザーが既に構築した機能の検出方法を学びます。

Unity Catalogでの特徴量エンジニアリング

トレーニングする and 登録する models

AutoML を使用して機械学習モデルの効率的なトレーニングとチューニングを行う方法と、MLflow を使用してエクスペリメント追跡を行う方法について説明します。

• AutoML を使用してモデルをトレーニングする

• Unity Catalog にモデルを登録する

本番運用 リアルタイムまたはバッチ配信

リアルタイム ワークロードにモデルサービングを使用する方法を開始するか、オフライン推論用に MLflow モデルをデプロイします。

• Databricksによるモデルサービング

• バッチ推論用のモデルをデプロイする

大規模言語モデル (LLM) のセルフホスティング

Databricks 環境内でオープンソースの LLM を安全かつコスト効率よくホストする方法を学びます

• GPU モデルサービング

デプロイされたモデルの監視

本番運用でAIモデルを監視する方法を学びます。 推論テーブルを使用して、モデルサービングエンドポイントの入力と予測を継続的にキャプチャしてデルタ テーブルに記録し、モデルのパフォーマンス メトリクスを常に把握できるようにします。 レイクハウスモニタリング 、目的のベンチマークを満たしているかどうかもわかります。

• 推論テーブル

プログラムによるデプロイのためのバンドル資産

Databricks アセット バンドルを使用して、すべてのデータと AI アセットを効率的にパッケージ化してデプロイする方法について説明します。

Databricksアセットバンドル

エンドツーエンドの MLOps

Databricks を使用して DataOps、ModelOps、DevOps を組み合わせ、AI アプリケーションのエンドツーエンドの機械学習と LLM 運用を実現する方法をご覧ください。

Databricks の MLOps

LLMを利用したRAGソリューションの構築

データを活用して LLM を利用したアプリケーションを作成する方法を学びます。 RAG(検索拡張世代)とLLMを使用して、より正確な回答を提供するQ&Aチャットボットを構築します。

「RAG」ワークフロー(Vector Search +モデルサービング)

関連リソース

上記の手順がニーズに合わない場合は、 Machine Learning のドキュメントに豊富な情報があります。