メインコンテンツまでスキップ
に最終更新

Databricksの生成AI機能

Databricksでは、生成AIアプリケーションを構築、評価、デプロイ、モニタリングするためのプラットフォームを提供します。 エンタープライズ グレードの生成AI アプリ開発の課題に対処するツール スイートを統合します。Databricks は一般的なオープンソース フレームワークと統合され、エンタープライズ グレードのガバナンス、可観測性、運用ツール（総称して LLMOps）を追加します。

このページには、生成AI ワークフロー ステージ別に整理された 生成AI向けの主な機能がリストされています。

生成AIをクエリする​

Databricksでは、トップ モデル プロバイダーの最先端の生成AI モデルを、Databricksがホストする基盤モデルを通じてすぐに利用できるようにしています。 外部プロバイダーやカスタム モデルからのモデルをクエリすることもできます。これらのモデルはすべて、UI、API/SDK、SQL インターフェースを通じてクエリできます。このオプションにより、一般的なチャット、複雑なエージェント、自動データパイプライン、対話型データ分析など、あらゆるユースケースで 生成AI を使用できるようになります。

手法

機能

UI

  • 開発向けに、 AI Playground は利用可能な 生成AI モデルとエージェントを照会するための UI を提供します。
  • テストでは、レビュー アプリを使用して、ドメイン エキスパートがエージェントとアプリを照会および評価できます。
  • 本番運用では、組織内で使用するために、 Databricks Appsを使用して UI でアプリをホストできます。 外部アプリの場合、 Databricks APIを使用してユーザー向けアプリを強化できます。

APIとSDK

SQL

  • AI 関数は、モデルとエージェントを照会するためのタスク固有および汎用の SQL 関数を提供します。

生成AIを構築する​

Databricks は、生成AI アプリ、エージェント、ツール、モデルを構築するための柔軟なツールセットを提供します。これらには UI とコードベースのフレームワークが含まれており、すべてデータに基づいて 生成AI システムを最適化できます。任意のオープンソース 生成AI フレームワークを活用し、カスタム ツールと MCP サーバーを統合できます。

カテゴリー

機能

アプリ

  • Databricks Apps認証されたユーザーに柔軟なアプリ開発と展開を提供します。
  • カスタム アプリはDatabricks APIによって強化されます。

エージェント

ツール

モデルとプロンプト

データの準備と提供​

Databricks は、従来のデータと AI ワークロードのガバナンスを統合することで、AI 向けデータを簡素化します。すべてのデータは、きめ細かいアクセス制御を備えたUnity Catalogで管理されるため、組織に合わせてデータエンジニアリングとAI境界を調整するのが簡単です。 データは 、LakeFlowSpark 宣言型パイプライン などのデータエンジニアリング ツール を使用して 生成AI 用に準備できます。Unity Catalogのテーブルは、非構造化データのベクトル インデックスまたは構造化データの特徴量テーブルを使用して 生成AI に提供できます。

データのタイプ

機能

非構造化（テキスト、画像など）

  • ベクトル検索は、セマンティック検索またはハイブリッド検索のために、ナレッジ ベースに大規模なインデックスを自動的に作成します。

構造化（表）

  • サーバレスSQLを使用すると、アナリティクスや変換のためにテーブルとSQLクエリを 生成AI アプリに統合できます。
  • Genie エージェントは、マルチエージェント システムで使用して、構造化データに関する自然言語クエリに回答できます。

生成AIのデプロイとサービング​

Databricksでは、Databricks Appsによってサポートされる 生成AI アプリ、エージェント、モデル用の本番運用対応のサービス システムを提供します。 これらのスケーラブルなデプロイメントは、リアルタイム サービングとバッチ推論の両方に使用できます。すべてのデプロイメントは、可観測性、評価、モニタリングツールと統合されています。

開発方法

デプロイメントとサービング

Databricks Apps

アプリとエージェントは、 UI ベースおよび API ベースのデプロイメントを提供するDatabricks Appsを使用してデプロイできます。

生成AIの追跡、評価、監視​

Databricksでは、生成AI の可観測性、評価、モニタリングのためのマネージドMLflowを提供します。 オープンソースAPI統合と移植性をシンプルにし、マネージドサービスは本番運用に対応したエンドポイントを提供します。 Databricksマネージドの MLflow は、Databricks でホストされている 生成AI アプリおよびエージェント、および他の場所でホストされている 生成AI アプリおよびエージェントに使用できます。

カテゴリー

機能

追跡と観測可能性

  • MLflow Tracing使用すると、生成AI エージェントとアプリを計測して、評価、本番運用モニタリング、監査のためのテレメトリ データと可観測性データを収集できます。

評価

モニタリング

  • 本番運用モニタリングでは、開発時の評価と同じジャッジとスコアラーを使用して、本番運用トレースの品質を測定できます。

人間からのフィードバック

LLMOps​

Databricks は、生成AIオペレーション (LLMOps) 用の完全なツール スイートを提供します。Unity Catalogによるデータと AI アセットの統合ガバナンスにより、組織全体での AI の展開が簡素化され、安全になります。AI Gateway は、多くの 生成AI モデル プロバイダーからのモデルの管理を簡素化します。MLflowおよびDatabricksアセット バンドルは、堅牢な LLMOps プロセスを実装するためのバージョン管理とInfrastructure-as-Codeを提供します。

カテゴリー

機能

データとAI資産のガバナンス

Unity Catalogは、データと AI アセットの統合ガバナンスを提供します。データ アセットには、ファイル、テーブル、ベクター インデックス、Feature Store が含まれます。 AIアセットには、MCP サーバーやその他のAPIs用のモデル、ツール、接続が含まれます。

モデルエンドポイントガバナンス

AI Gatewayは、生成AI モデルのエンドポイントに一元的なガバナンスとモニタリングを提供します。

アプリ、エージェント、プロンプトのバージョン管理

MLflowはアプリとエージェントのバージョン管理をサポートし、プロンプト レジストリとエクスペリメント トラッキングを提供します。

Infrastructure as code

Databricks Assets Bundles 上に構築されたMLOps Stacks は、インフラストラクチャとワークフローのコードベースの管理と展開を提供します。

オープンソースサポート​

Databricks は、急速に成長している 生成AI のオープンソース エコシステムを全面的にサポートします。

開発には、任意のオープンソース フレームワークを使用し、 Databricks Appsを使用してデプロイできます。 Databricks サービスは、 MCP サーバーまたはREST API または SDKを使用して、サードパーティの 生成AI ツールやアプリで使用できます。

可観測性、評価、モニタリングのために、 MLflow Tracingは20 以上のオープンソース 生成AI フレームワークにネイティブ自動ロギングを提供し、他のフレームワークやコードにカスタム トレースを追加できます。 トレースは、 MLflow評価および本番運用モニタリングで使用できます。 トレースはOpenTelemetry トレース仕様に準拠しており、サードパーティのツールにエクスポートできます。

もっと詳しく知る​