プロビジョニングされたスループットの基盤モデルAPIを用いたバッチ推論

この記事では、基盤モデル APIs と ai_queryを使用してプロビジョニング スループット エンドポイントでバッチ推論を実行するノートブックの例を示します。

要件

  • 基盤モデルAPIがサポートされているリージョンのワークスペース。

  • 次のいずれか一つ。

    • コンピュートサイズi3.2xlarge以上のランニング Databricks Runtime 15.4 ML LTS 以上で、少なくとも2人のワーカーがいる万能コンピュート。

    • SQLウェアハウス 中規模以上。

バッチ推論の実行

一般に、バッチ推論の設定には、次の 2 つの手順が含まれます。

  1. バッチ推論に使用するエンドポイントを作成します。

  2. バッチ要求を作成し、それらの要求をバッチ推論エンドポイントに送信するには、 ai_queryを使用します。

サンプル ノートブックでは、これらのステップについて説明し、Meta Llama 3.1 70B モデルを使用したバッチ推論を示します。

プロビジョニングされたスループットエンドポイントを使用したバッチ推論ノートブック

ノートブックを新しいタブで開く