Databricks での AI と機械学習

データ準備から本番運用モニタリングまでのAIライフサイクル全体を統合する統合プラットフォームである Mosaic AIを使用して、AIおよび機械学習アプリケーションを構築、デプロイ、管理します。

開始するための一連のチュートリアルについては、 AI と機械学習のチュートリアルを参照してください。

ビルド生成AI アプリケーション

微調整されたLLM、AIエージェント、検索拡張生成など、エンタープライズグレードの生成AIアプリケーションを開発およびデプロイします。

機能	説明
AI Playground	ノーコードのプロンプトエンジニアリングとパラメータチューニングを用いた生成AIモデルのプロトタイピングとテスト。
Agent Bricks	一般的なAIユースケースに対応する、ドメイン固有の高品質なAIエージェントシステムを構築・最適化するためのシンプルなノーコードアプローチです。
基盤モデル	安全でスケーラブルなAPIを通じて、MetaLlama 、Anthropic Claude、OpenAI GPTなどの最先端のLLMにサービスを提供します。
モザイク AI エージェントフレームワーク	RAGアプリケーションや Pythonを備えたマルチエージェントシステムを含む、本番運用品質のエージェントを構築してデプロイします。
生成AI向けMLflow	AIを活用したメトリクスと包括的なトレースオブザーバビリティを使用して、GenAIアプリケーションのライフサイクル全体で品質を測定、改善、監視します。
Vector Search	埋め込みベクトルを保存し、クエリを実行し、RAGアプリケーションのナレッジベースに自動的に同期します。
基盤モデルのファインチューニング	独自のデータで基盤モデルをカスタマイズし、特定のアプリケーションのパフォーマンスを最適化します。

自動化されたツールと共同開発環境を使用して機械学習モデルを作成します。

機能	説明
AutoML	自動化された機能エンジニアリングとハイパーパラメーターチューニングを使用して、最小限のコードで高品質のモデルを自動的に構築します。
Databricks機械学習ランタイム	ディープラーニング開発のための TensorFlow、 PyTorch、 Keras、GPU サポートを備えた事前構成済みのクラスタリング。
MLflowトラッキング	エクスペリメントを追跡し、モデルのパフォーマンスを比較し、モデル開発ライフサイクル全体を管理します。
特徴量エンジニアリング	自動化されたデータパイプラインと機能検出を使用して、機能を作成、管理、提供します。
Databricksノートブック	MLワークフローにおける Python、R、Scala、SQL をサポートする共同開発環境。

組み込みのフレームワークを使用して、ディープラーニングモデルを開発します。

機能	説明
分散学習	Ray、 TorchDistributor、DeepSpeedを使用した分散型ディープラーニングの例。
Databricksでディープラーニングを行うためのベストプラクティス	Databricksでのディープラーニングのベストプラクティス .
PyTorch	PyTorch を使用した単一ノードおよび分散トレーニング。
TensorFlow	TensorFlow と TensorBoard を使用した単一ノードおよび分散トレーニング。
リファレンスソリューション	ディープラーニングのリファレンスソリューション。

スケーラブルなエンドポイント、リアルタイム推論、エンタープライズグレードのモニタリングを使用して、モデルを本番運用にデプロイします。

機能	説明
モデルサービング	カスタムモデルとLLMを、自動スケーリングとGPUサポートを備えたスケーラブルなRESTエンドポイントとしてデプロイします。
AIゲートウェイ	使用状況の追跡、ペイロードのログ記録、セキュリティ制御により、生成AIモデルへのアクセスを管理および監視します。
外部モデル	Databricks の外部でホストされているサードパーティモデルを、統一されたガバナンスとモニタリングと統合します。
基盤モデルAPI	Databricks がホストする最先端のオープンモデルにアクセスしてクエリを実行します。

モデルの品質、データの完全性、コンプライアンスを、包括的なモニタリングおよびガバナンスツールで確保します。

機能	説明
Unity Catalog	データ、機能、モデル、機能を、統合されたアクセス制御、リネージ追跡、ディスカバリーで管理します。
レイクハウスモニタリング	データ品質、モデルのパフォーマンス、予測ドリフトを、自動アラートと根本原因分析で監視します。
モデルの MLflow	開発ライフサイクル全体を通じて、生成AI アプリケーションを追跡、評価、監視します。

自動化されたワークフロー、 CI/CD 統合、本番運用に対応したパイプラインにより、機械学習の運用をスケールアップします。

タスク	説明
モデルレジストリ	モデルのバージョン、承認、デプロイを、一元化されたモデルライフサイクル管理で管理します。
Lakeflow ジョブ	自動化されたワークフローと本番運用に対応した ETL パイプラインを構築して、 ML データ処理を実現します。
Ray on Databricks	分散コンピューティングを使用して ML ワークロードをスケーリングし、大規模なモデルのトレーニングと推論を実現します。
MLOps ワークフロー	自動化されたトレーニング、テスト、デプロイのパイプラインを使用して、エンドツーエンドの MLOps を実装します。
Git連携	シームレスなGit統合と共同開発によるMLコードとノートブックのバージョン管理。