メインコンテンツまでスキップ
に最終更新

Databricks での AI と機械学習

データ準備から本番運用 モニタリングまでのAIライフサイクル全体を統合する統合プラットフォームである Mosaic AIを使用して、AIおよび機械学習アプリケーションを構築、デプロイ、管理します。

開始するための一連のチュートリアルについては、 AI と機械学習のチュートリアルを参照してください。

生成AI アプリケーションの構築​

微調整されたLLM、AIエージェント、検索拡張生成など、エンタープライズグレードの生成AIアプリケーションを開発およびデプロイします。

    • AI Playground
    • ノーコードのプロンプトエンジニアリングとパラメータチューニングを用いた生成AIモデルのプロトタイピングとテスト。
    • Agent Bricks
    • 一般的な AI ユースケース向けに、ドメイン固有の高品質の AI エージェント システムを構築および最適化するためのシンプルなアプローチ。
    • 基盤モデル
    • 安全でスケーラブルなAPIを通じて、Meta Llama、Anthropic Claude、OpenAI GPTなどの最先端のLLMにサービスを提供します。
    • 生成AI向けMLflow
    • AIを活用したメトリクスと包括的なトレースオブザーバビリティを使用して、GenAIアプリケーションのライフサイクル全体で品質を測定、改善、監視します。
    • Vector Search
    • 埋め込みベクトルを保存し、クエリを実行し、RAGアプリケーションのナレッジベースに自動的に同期します。
    • サーバレスGPUコンピュート
    • お気に入りのフレームワークを使用して、カスタム モデルのトレーニングと微調整のために単一ノードおよびマルチノードのディープラーニング ワークロードをカスタマイズし、最先端の効率、パフォーマンス、品質を実現します。

従来の機械学習モデルをトレーニングする​

自動化されたツールと共同開発環境を使用して機械学習モデルを作成します。

    • AutoML
    • 自動化された機能エンジニアリングとハイパーパラメーターチューニングを使用して、最小限のコードで高品質のモデルを自動的に構築します。
    • Databricks機械学習ランタイム
    • ディープラーニング開発のための TensorFlow、 PyTorch、 Keras、GPU サポートを備えた事前構成済みのクラスタリング。
    • MLflowトラッキング
    • エクスペリメントを追跡し、モデルのパフォーマンスを比較し、モデル開発ライフサイクル全体を管理します。

ディープラーニング モデルのトレーニング​

組み込みのフレームワークを使用して、ディープラーニングモデルを開発します。

モデルのデプロイと提供​

スケーラブルなエンドポイント、リアルタイム 推論、エンタープライズ グレードのモニタリングを使用して、モデルを本番運用にデプロイします。

    • モデルサービング
    • カスタムモデルとLLMを、自動スケーリングとGPUサポートを備えたスケーラブルなRESTエンドポイントとしてデプロイします。
    • AIゲートウェイ
    • 使用状況の追跡、ペイロードのログ記録、セキュリティ制御により、生成AIモデルへのアクセスを管理および監視します。
    • 外部モデル
    • Databricks の外部でホストされているサードパーティモデルを、統一されたガバナンスとモニタリングと統合します。
    • 基盤モデルAPI
    • Databricks がホストする最先端のオープンモデルにアクセスしてクエリを実行します。

ML システムの監視と管理​

モデルの品質、データの完全性、コンプライアンスを、包括的なモニタリングおよびガバナンスツールで確保します。

    • Unity Catalog
    • データ、機能、モデル、機能を、統合されたアクセス制御、リネージ追跡、ディスカバリーで管理します。
    • データプロファイリング
    • データ品質、モデルのパフォーマンス、予測ドリフトを、自動アラートと根本原因分析で監視します。
    • 異常検出
    • カタログ レベルでデータの鮮度と完全性を監視します。
    • モデルの MLflow
    • 開発ライフサイクル全体を通じて、生成AI アプリケーションを追跡、評価、監視します。

ML ワークフローの本番環境化​

自動化されたワークフロー、 CI/CD 統合、本番運用に対応したパイプラインにより、機械学習の運用をスケールアップします。

    • Unity Catalog上のモデル
    • モデルレジストリ in Unity Catalog を使用して、一元化されたガバナンスと、デプロイを含むモデルのライフサイクルを管理します。
    • Lakeflow ジョブ
    • 自動化されたワークフローと本番運用に対応した ETL パイプラインを構築して、 ML データ処理を実現します。
    • Ray on Databricks
    • 分散コンピューティングを使用して ML ワークロードをスケーリングし、大規模なモデルのトレーニングと推論を実現します。
    • MLOps ワークフロー
    • 自動化されたトレーニング、テスト、デプロイのパイプラインを使用して、エンドツーエンドの MLOps を実装します。
    • Git連携
    • シームレスなGit統合と共同開発によるMLコードとノートブックのバージョン管理。