メインコンテンツまでスキップ
に最終更新

コンセプト: DatabricksでのAIの生成

GenAI アプリは、生成AIモデル (大規模言語モデル、画像生成モデル、テキスト読み上げモデルなど) を使用して、新しい出力を作成したり、複雑なタスクを自動化したり、ユーザー入力に基づいてインテリジェントな対話を行ったりするアプリケーションです。

GenAIアプリは、LLMや他のGenAIモデルへの単純な呼び出し、あるいは複雑なAIエージェントによって動作させることができます。複雑性のレベルについての詳細はこちらをご覧ください。

GenAIアプリのエージェント、ツール、評価、モデル、その他の側面は、お客様独自のデータを使用してカスタマイズできます。このデータドリブンのカスタマイズはデータ インテリジェンスにつながり、既成のAIモデルが提供する一般的なインテリジェンスを超えることができます。

GenAIアプリケーション​

ユーザー向けのGenAIアプリケーションは、以下のような様々な形態をとることができます。

GenAIアプリケーションを成功させるには、アプリケーション開発とAI評価という2種類のスキルが必要となることが多い。GenAIアプリの開発は、非AIアプリケーションの開発とよく似ており、アプリケーションの種類に応じて必要なソフトウェアスキルが異なります。しかし、GenAIアプリケーションの評価には、GenAIからの複雑で自由回答的な応答を処理するための専門的なツールと技術が必要となる。

Databricks上で業界特化型のGenAIアプリを構築する方法については、以下を参照してください。

GenAI評価​

GenAIのモデル、エージェント、およびアプリケーションは、多くの場合、複雑で自由度の高い動作を示す。ユーザーはあらゆるクエリを入力できる。AIエージェントは、実行中にテキスト、画像などを収集することが許可される場合がある。出力は任意のテキスト、画像、その他のメディアであり、多くの「良い」回答が存在する可能性がある。

こうした複雑な事情により、GenAIの評価は困難を極めている。適切な評価には以下が必要です。

  • AI を用いた自動化による AI の評価
  • 専門家やユーザーからのフィードバックに基づいて、正解データを収集し、自動評価を較正する。
  • 複雑なエージェントを深く掘り下げて、その動作を理解し、デバッグする

Databricksが管理するMLflowおよび関連ツールは、GenAI評価の基盤を提供する。

エージェント​

エージェントまたはエージェントシステムとは 、目標を達成するために環境を自律的に認識、判断、行動できるAI駆動型システムの ことである。指示されたときにのみ出力を生成するスタンドアロンの GenAI モデルとは異なり、エージェント システムはある程度の 主体性 を備えています。現代のAIエージェントは、次のようなシステムの「頭脳」としてGenAIモデルを使用します。

  1. ユーザーからのリクエスト、または他のエージェントからのメッセージを受信する。
  2. 処理方法を決定する理由：どのデータを取得するか、どのロジックを適用するか、どのツールを呼び出すか、またはユーザーから追加の入力を求めるかどうか。
  3. プランを実行し、複数のツールを呼び出したり、サブエージェントに処理を委任したりする場合があります。
  4. 回答を返すか、ユーザーにさらなる説明を求めます。

一般的なインテリジェンス (GenAI モデルの事前トレーニング済み機能) とデータ インテリジェンス(ビジネスに固有の専門知識とAPIs ) を橋渡しすることで、エージェント システムは、高度な顧客サービス フロー、データ豊富な分析ボット、複雑な運用タスクのためのマルチエージェント オーケストレーションなど、影響力の高いエンタープライズ ユース ケースを可能にします。

単純なGenAIモデルから複雑なエージェントまで、連続的なスペクトルが存在する。詳細については、 「エージェントシステム設計パターン」を参照してください。

Databricksは、完全ガイド付きから完全カスタマイズまで、エージェント構築のための幅広いオプションを提供しています。

  • AI Playgroundは、ツール呼び出しエージェントのプロトタイプを作成するためのUIを提供し、そこから生成されたエージェントコードをエクスポートできます。
  • カスタムエージェントを使用すると、カスタムコードまたはサードパーティのエージェント作成ライブラリを使用してエージェントを構築およびデプロイできます。

ツール​

AIエージェントは、情報を収集したり、アクションを実行したりするためにツールを呼び出すことができる。ツールとは、LLMが明確に定義されたタスクを実行するために呼び出すことができる、単一の対話型機能のことである。AIモデルは通常、ツール呼び出しごとに処理を生成し、ツールは分かりやすい入出力のやり取りを提供する。

一般的なツールカテゴリは以下のとおりです。

  • データを取得または分析するツール

    • 意味的検索 ：ベクトルインデックスを照会して、関連するテキストやその他の非構造化データを見つけます。
    • 構造化取得 : 実行SQLクエリまたはAPIsを使用して構造化情報を取得します。
    • ウェブ検索ツール ：インターネットまたは社内ウェブコーパスを検索します。
    • 従来のMLモデル : 機械学習モデルを呼び出して、分類、回帰、またはその他の予測を実行します。
    • GenAIモデル ：コードや画像などの特殊な出力を生成します。

  • 外部システムの状態を変更するツール

    • API呼び出し ：CRMエンドポイント、内部サービス、またはその他のサードパーティ統合を呼び出します。
    • Eメールまたはメッセージングアプリとの連携 ：メッセージを投稿したり、通知を送信したりできます。

  • ロジックを実行したり、特定のタスクを実行したりするツール

    • コード実行 ：ユーザーが提供したコード、またはLLMが生成したコードをサンドボックス内で実行します。

ツールはエージェントのロジックに組み込むことも、 MCPのような標準化されたインターフェースを使用してアクセスすることもできます。

ツール対エージェント：

  • ツールは、明確に定義された単一の操作を実行する。エージェントは、より自由度の高いタスクを実行できる。
  • ツールは一般的にステートレスであり、各呼び出しを超えて継続的なコンテキストを保持しません。エージェントは、タスクを繰り返し解決しながら状態を維持する。

工具のエラー処理と安全性：

各ツール呼び出しはAPI呼び出しなどの外部操作であるため、システムは障害を適切に処理する必要があります。タイムアウト、不正な応答、または無効な入力によって、エージェント自体が完全に機能停止するべきではない。本番運用では、許可されるツール呼び出しの数を制限し、ツール呼び出しが失敗した場合のフォールバック応答を用意し、エージェントシステムが同じ失敗したアクションを繰り返し実行しないようにガードレールを適用します。

DatabricksのAIツールについて詳しくはこちらをご覧ください。

GenAIモデルとLLM​

大規模言語モデル（LLM）とは、膨大なテキストデータセットで学習されたAIモデルであり、人間の言語を理解、生成、推論することができる。LLM（言語レベルモデリング）は、入力されたプロンプトに基づいて文脈的に関連性の高いテキストを予測・生成することで、チャットボット、コードアシスタント、コンテンツ生成ツールなどのアプリケーションを支えています。

より一般的には、GenAIモデルまたはモデルは、テキスト以外のモードを学習するために、大量のテキスト、画像、ビデオ、音声、またはその他のデータでトレーニングされます。 マルチモーダルモデルは、人間の言語と画像、音声、その他のメディアを結びつけることを学習する。LLM は GenAI または基盤モデルの一種ですが、これらの用語は多くの場合、大まかに同じ意味で使用されます。

GenAIモデルは、GenAIエージェントおよびアプリの基盤となるインテリジェンスを提供する。シンプルなアプリは、多くの場合、迅速なエンジニアリングによってカスタマイズされた単一のモデルを使用して構築されます。

DatabricksでGenAIモデルを使用する方法について学びましょう。

迅速なエンジニアリング​

GenAIモデルは一般的に、プロンプト、つまりユーザー入力の処理方法をモデルに指示する命令を受け取ります。プロンプトは、詳細なステップ、専門知識、データ、その他の情報を使用して大幅にカスタマイズできます。

Databricksは、迅速なエンジニアリングを行うための柔軟な方法を提供します。例えば：

  • AI Playground 、手動でインタラクティブなプロンプト エンジニアリングのための UI を提供します。
  • MLflowプロンプト最適化とDSPy 、データドリブン プロンプト最適化ルーチンを提供します。

GenAIプラットフォームとは何ですか？​

GenAIには、データとAIを組み合わせたプラットフォームが必要です。開発者と管理者双方にとって、GenAIの主要コンポーネントは、シンプルで統一されたプラットフォーム上で接続され、管理される必要がある。

主な構成要素は以下のとおりです。

  • AIアセット（モデル、エージェント、アプリなど）
  • ファイル、テーブル、処理パイプライン、ベクトルインデックス、フィーチャーストアなどのデータ資産
  • AIの展開（モデルやエージェントのエンドポイントなど）
  • AIおよびデータ資産の構築と展開のためのツール

主なガバナンス機能は以下のとおりです。

  • AIとデータ資産の統一的なガバナンス。Unity Catalogとは何か？で詳細をご覧ください。
  • GenAIモデルのエンドポイントに対する統一的なガバナンス。詳細はUnity AI Gatewayをご覧ください。
  • 統一的なセキュリティ対策。詳細については、 Databricks AI Securityをご覧ください。
  • AIおよびデータツールの統合管理。詳細は「管理」をご覧ください。

Databricks AI生成機能およびDatabricksアーキテクチャも参照してください。

汎用知能とデータインテリジェンス​

一般知能とデータ知能を比較した図。

  • 一般知能 とは、LLMが多様なテキストに関する広範な事前訓練によって本質的に習得する知識を指します。これは言語能力の向上と一般的な推論能力の向上に役立ちます。
  • データインテリジェンスとは、組織のドメイン固有のデータとAPIs指します。 これには、顧客記録、製品情報、ナレッジベース、または貴社独自のビジネス環境を反映した文書などが含まれる可能性があります。

エージェント システムはLLMこれら 2 つの知識ソースを融合します。LLM の広範で一般的な知識から始まり、次に、短期またはドメイン固有のデータを取り込んで、詳細な質問に答えたり、特殊なアクションを実行したりします。 Databricksを使えば、あらゆるレベルでデータインテリジェンスをGenAIアプリに組み込むことができます。

GenAI vs. ML vs. ディープラーニング​

生成人工知能 (GenAI)、機械学習 ( ML )、ディープラーニング (DL) の間の境界は曖昧な場合があります。 このガイドは GenAI に焦点を当てていますが、次のDatabricksプラットフォーム機能はML 、ディープラーニング、および GenAI をサポートしています。

もっと詳しく知る​

このページの見出し