Databricks での機械学習

Databricks で機械学習アプリケーションを構築、デプロイ、管理する。統合プラットフォームは、データ準備から本番運用モニタリングまで、機械学習ライフサイクル全体を統合します。

生成AIやAIエージェントをお探しですか？ DatabricksでAIエージェントを構築する方法については、こちらをご覧ください。

使い始める

クイックスタートを試し、モデルを vibe code し、ノートブックを使用します。

• • はじめに: Databricksで初めての機械学習モデルを構築する
  • scikit-learnを使用して、シンプルな分類モデルを構築してデプロイします。
• • データサイエンスにGenie Codeを利用
  • AI エージェントを使用して、データを探索し、モデルを構築し、反復します。
• • Databricksノートブック
  • Python、R、Scala、およびSQLをサポートする共同開発環境。
• • 概念：Databricks 上でのデータサイエンスと機械学習
  • Databricks 上でのデータサイエンスと機械学習の基本概念を学習します。

従来の機械学習モデルをトレーニングする

特徴量を設計し、機械学習モデルを作成し、エクスペリメントを追跡します。

• • Feature Store
  • 特徴量エンジニアリングを行い、Unity Catalog で特徴量を管理し、本番運用で特徴量を提供します。
• • モデルトレーニングの例
  • 人気のライブラリを使用した、従来の機械学習モデルのトレーニングに関するエンドツーエンドの例をご覧ください。
• • Databricks機械学習ランタイム
  • scikit-learn、XGBoost、MLflowなどの機械学習ライブラリ、およびディープラーニングフレームワークに対応した事前構成済みのクラスター。
• • MLflowトラッキング
  • エクスペリメントを追跡し、モデルのパフォーマンスを比較し、モデル開発ライフサイクル全体を管理します。

ディープラーニングモデルをトレーニングする

マネージド コンピュートと組み込みフレームワークを使用して、ディープラーニング モデルを開発できます。

• • AIランタイム
  • カスタムのディープラーニングトレーニングおよび推論ワークロードには、サーバレスGPUコンピュートをご利用ください。
• • 分散トレーニングの例
  • Ray、TorchDistributor、および DeepSpeed を使用した分散ディープラーニングの例を確認します。
• • DLベストプラクティス
  • フレームワークの選択、データの読み込み、分散スケーリング、およびディープラーニングモデルのライフサイクル管理について学習します。
• • Ray on Databricks
  • 分散コンピューティングを使用して ML ワークロードをスケーリングし、大規模なモデルのトレーニングと推論を実現します。

モデルのデプロイと提供

スケーラブルなエンドポイントを使用して、リアルタイム、ストリーミング、またはバッチ推論のためにモデルを本番運用にデプロイします。

• • モデルサービング
  • カスタムモデルとLLMを、自動スケーリングとGPUサポートを備えたRESTエンドポイントとしてデプロイします。
• • AIゲートウェイ
  • 使用状況追跡、ペイロードロギング、およびセキュリティ制御を用いて、Databricksで提供されるモデルへのアクセスを管理および監視します。
• • バッチ推論
  • 大規模なデータセットでバッチおよびストリーミング推論と予測のためにモデルをデプロイします。
• • 基盤モデルAPI
  • Databricksがホストする最先端のGenAIモデルにアクセスしてクエリを実行します。

ML システムの監視と管理

モデルの品質、データの完全性、コンプライアンスを、包括的なモニタリングおよびガバナンスツールで確保します。

• • Unity Catalog
  • データ、機能、モデル、機能を、統合されたアクセス制御、リネージ追跡、ディスカバリーで管理します。
• • モデルの MLflow
  • エクスペリメントとモデルから評価、デプロイメントまで、機械学習 ライフサイクル全体を管理します。
• • 異常検出
  • カタログ レベルでデータの鮮度と完全性を監視します。
• • データプロファイリング
  • データ品質、モデルのパフォーマンス、予測ドリフトを、自動アラートと根本原因分析で監視します。

ML ワークフローの本番環境化

自動化されたワークフロー、 CI/CD 統合、本番運用に対応したパイプラインにより、機械学習の運用をスケールアップします。

• • Unity Catalog上のモデル
  • モデルレジストリ in Unity Catalog を使用して、一元化されたガバナンスと、デプロイを含むモデルのライフサイクルを管理します。
• • Lakeflow ジョブ
  • 機械学習パイプラインのための自動化ワークフローを構築します。
• • 宣言型オートメーションバンドル
  • Databricksのインフラストラクチャを、機械学習のトレーニングとデプロイを含むCI/CD用のコードとして管理します。
• • MLOps ワークフロー
  • 自動化されたトレーニング、テスト、デプロイメントパイプラインによるエンドツーエンドの MLOps について学習します。