メインコンテンツまでスキップ

設定と考慮事項 ai_generate_text()

備考

プレビュー

この機能は パブリック プレビュー段階です。

警告

AI 関数 ai_generate_text() は非推奨です。 Databricks では 、外部モデルで ai_query を使用することをお勧めします。

この記事では、 ai_generate_text() 関数の使用を開始する前に考慮すべきことと設定すべきこと、特に認証資格情報を取得して安全に保存する方法について説明します。 また、機能の制限とコスト パフォーマンスに関する考慮事項も含まれています。

ai_generate_text()とは?​

ai_generate_text()関数は、SQL から直接大規模言語モデル (LLM) にアクセスできる組み込みの Databricks SQL 関数です。この機能は現在、OpenAIおよび Azure OpenAIモデルへのアクセスをサポートしており、顧客はそれらをデータパイプラインおよび機械学習ワークロードのビルディングブロックとして使用できます。 構文と設計パターンについては、 ai_generate_text 関数 言語のマニュアル・コンテンツを参照してください。

ai_generate_text()のユースケースとして考えられるのは、翻訳、要約、推奨アクション、トピックやテーマの特定などです。

Databricks で LLM を使用する利点には、次のようなものがあります。

  • オープンソースとプロプライエタリなLLM間で統一されたアクセスと管理レイヤー。
  • サーバレス、自動スケーリング、データ統合 LLM インフラストラクチャ。
  • ポイント&クリック操作のシンプルさで、ビジネス要件やユースケースに合わせてLLMをカスタマイズできます。
  • 上級ユーザー向けに、オープンソースLLMの迅速な開発とカスタマイズのためのツール。

必要条件​

  • AI Functions パブリック プレビューへの登録。 パブリック プレビューに登録するには、 AI Functions パブリック プレビュー登録フォームに入力して送信します。
  • Databricks SQL Pro または サーバレス。
  • この機能を有効にして使用すると、データは SQL 環境を離れて、サードパーティの LLM モデル プロバイダー (OpenAI と Azure OpenAI) に渡されることを理解してください。
  • Azure OpenAI または OpenAI にアクセスできます。
  • GPT 3.5 Turboモデルが展開されています。

認証の詳細を取得する​

ai_generate_text()機能を使用するには、Azure OpenAI または OpenAI にアクセスできる必要があります。

次の手順で Azure OpenAI の認証の詳細を取得します。 認証の詳細は、 ai_generate_text()の resourceName パラメーターと deploymentName パラメーターに入力されます。

  1. Azure ポータルの [Cognitive サービス] に移動し、[OpenAI Azure] を選択します。
  2. 使用するリソースを選択します。
  3. [リソース管理] で [キーとエンドポイント ] を選択します。
  4. キーとリソースの名前をコピーします。
  5. 「リソース管理」の下の 「モデル・デプロイメント 」を選択します。
  6. モデルデプロイ名をコピーします。

OpenAI の場合は、OpenAI に移動し、API キーを選択してキーを作成できます。

注記

既存のキー設定のキーはコピーできません。

次のいずれかを実行できます。

  • 設定を作成したユーザー (プリンシパルとも呼ばれます) からキーを取得します。
  • 新しいキーを作成し、作成が成功したときに提供されたキーをコピーします。

アクセストークンの保存​

important

トークンをプレーンテキストでノートブック、コード、または git リポジトリに含め ないでください 。

Databricks シークレットを使用して API トークンを保持できます。 Databricks CLI または Secrets API 2.0 を使用してシークレットを作成します。次の例のステップでは、Secrets CLI を使用します。

  1. OpenAI キーを保持するためのシークレットスコープがまだない場合は、作成します。

    databricks secrets create-scope openai

  2. OpenAI への接続が許可されているユーザーまたはグループに READ 以上の権限を付与する必要があります。 Databricks では、グループ openai-users を作成し、許可されたユーザーをそのグループに追加することをお勧めします。

    databricks secrets put-acl openai openai-users READ

  3. API アクセス トークンのシークレットを作成します。 Databricks では、次の形式 <resource-name>-keyを推奨しています。

    databricks secrets put-secret openai demo-key --string-value yourkey123

制限​

  • ai_generate_text() は、対話型またはジョブ クラスターではサポートされていません。
  • プレビューでサポートされているモデルは、 openai/gpt-3.5-turbo と azure_openai/gpt-35-turboのみです。
  • openai/gpt-3.5-turbo と azure_openai/gpt-35-turbo のトークン制限は 4096 トークンです。

コストとパフォーマンスに関する考慮事項​

  • OpenAIおよび Azure OpenAIサービスにはサブスクリプションが必要であり、 Databricksとは別に料金が発生します。

  • 特定のクエリ内で、 LLM APIs の呼び出しは、関数が呼び出される列に対して順番に行われます。

    • ほとんどの SQL 関数と比較して、 ai_generate_text() を使用するクエリは実行速度が遅くなる傾向があります。

  • AI Functionsを呼び出すクエリの応答時間は、プロンプトで指定されたタスクと、提供および要求されたトークンの数の両方によって異なります。

  • Azure OpenAI サービスは、このプレビューの時点では、一部の Azure リージョン でのみ利用できます。

追加のリソース​

AI 関数の構文と設計パターンについては、言語マニュアルのドキュメンテーションを参照してください。

ビジネス シナリオで ai_generate_text() を使用する方法の例については、「ai_generate_text() と OpenAI を使用して顧客レビューを分析する」を参照してください。

に最終更新