Databricks での機械学習

Databricks で機械学習アプリケーションを構築、デプロイ、管理する。統合プラットフォームは、データ準備から本番運用モニタリングまで、機械学習ライフサイクル全体を統合します。

生成AIやAIエージェントをお探しですか？ DatabricksでAIエージェントを構築する方法については、こちらをご覧ください。

使い始める

クイックスタートを試す、データを準備する、またはローコードモデルを構築します。

- はじめに: Databricksで初めての機械学習モデルを構築する
- scikit-learnを使用して、シンプルな分類モデルをエンドツーエンドで構築します。
- AutoML
- 自動化された機能エンジニアリングとハイパーパラメーターチューニングを使用して、最小限のコードで高品質のモデルを自動的に構築します。
- 機械学習とディープラーニングのためのデータの読み込み
- 機械学習とディープラーニングのワークフローのために、データを読み込み、準備します。
- レコメンダーモデルをトレーニングする
- Two-TowerまたはDLRMアーキテクチャでレコメンデーションモデルをトレーニングする。

自動化されたツールと共同開発環境を使用して機械学習モデルを作成します。

- Databricks機械学習ランタイム
- scikit-learn、XGBoost、MLflowなどの機械学習ライブラリ、およびディープラーニングフレームワークに対応した事前構成済みのクラスター。
- MLflowトラッキング
- エクスペリメントを追跡し、モデルのパフォーマンスを比較し、モデル開発ライフサイクル全体を管理します。
- 特徴量エンジニアリング
- 自動化されたデータパイプラインと機能検出を使用して、機能を作成、管理、提供します。
- Databricksノートブック
- MLワークフローにおける Python、R、Scala、SQL をサポートする共同開発環境。

マネージドコンピュートと組み込みフレームワークを使用して、ディープラーニングモデルを開発できます。

スケーラブルなエンドポイント、リアルタイム推論、エンタープライズグレードのモニタリングを使用して、モデルを本番運用にデプロイします。

- モデルサービング
- カスタムモデルとLLMを、自動スケーリングとGPUサポートを備えたスケーラブルなRESTエンドポイントとしてデプロイします。
- AIゲートウェイ
- 使用状況追跡、ペイロードロギング、およびセキュリティ制御を用いて、Databricksで提供されるモデルへのアクセスを管理および監視します。
- 外部モデル
- Databricks の外部でホストされているサードパーティモデルを、統一されたガバナンスとモニタリングと統合します。
- 基盤モデルAPI
- Databricks がホストする最先端のオープンモデルにアクセスしてクエリを実行します。

モデルの品質、データの完全性、コンプライアンスを、包括的なモニタリングおよびガバナンスツールで確保します。

- Unity Catalog
- データ、機能、モデル、機能を、統合されたアクセス制御、リネージ追跡、ディスカバリーで管理します。
- データプロファイリング
- データ品質、モデルのパフォーマンス、予測ドリフトを、自動アラートと根本原因分析で監視します。
- 異常検出
- カタログレベルでデータの鮮度と完全性を監視します。
- モデルの MLflow
- エクスペリメントを追跡し、Unity Catalog でモデルを管理し、開発ライフサイクル全体で機械学習モデルをデプロイおよび評価します。

自動化されたワークフロー、 CI/CD 統合、本番運用に対応したパイプラインにより、機械学習の運用をスケールアップします。

- Unity Catalog上のモデル
- モデルレジストリ in Unity Catalog を使用して、一元化されたガバナンスと、デプロイを含むモデルのライフサイクルを管理します。
- Lakeflow ジョブ
- 自動化されたワークフローと本番運用に対応した ETL パイプラインを構築して、 ML データ処理を実現します。
- Ray on Databricks
- 分散コンピューティングを使用して ML ワークロードをスケーリングし、大規模なモデルのトレーニングと推論を実現します。
- MLOps ワークフロー
- 自動化されたトレーニング、テスト、デプロイのパイプラインを使用して、エンドツーエンドの MLOps を実装します。