Databricks の大規模言語モデル (LLM)
Databricks を使用すると、公開されている大規模言語モデルに簡単にアクセスして構築できます。
Databricks Runtime for Machine Learning には Hugging Face Transformersや LangChain などのライブラリが含まれており、既存の事前トレーニング済みモデルやその他のオープンソース ライブラリをワークフローに統合できます。 ここから、Databricks プラットフォーム機能を活用し、独自のデータを使用して LLM をファインチューニングし、ドメイン パフォーマンスを向上させることができます。
Hugging Face トランスフォーマー
Databricks の Hugging Face Transformersを使用すると、自然言語処理 (NLP) バッチ アプリケーションをスケールアウトし、大規模な言語モデル アプリケーション用にモデルをファインチューニングできます。
Hugging Face transformers ライブラリは、 Databricks Runtime LTS ML以降にプレインストールされています。一般的なNLPモデルの多くはGPUハードウェアで最適に機能するため、CPUでの使用に特別に最適化されたモデルを使用しない限り、最新のGPUハードウェアを使用して最高のパフォーマンスが得られる可能性があります。
DSPy
DSPy は、ユーザー定義の自然言語シグネチャを完全な命令と数ショットの例に変換することにより、プロンプトチューニングを自動化します。
DSPy の使用例については、 の「DSPy を使用してアプリをビルド生成」AIDatabricks を参照してください。
LangChain
LangChainは実験的なMLflow フレーバーとして提供されておりLangChain 顧客は 環境から直接 の堅牢なツールとエクスペリメント追跡機能を活用できます。MLflowDatabricks
LangChainは、大規模言語モデル(LLM)を利用し、それらを外部データと組み合わせてLLMのトレーニングコンテキストを増やすアプリケーションの作成を支援するように設計されたソフトウェアフレームワークです。
Databricks Runtime ML には、Databricks Runtime 13.1 ML 以降の langchain が含まれています。
Databricks 固有の LangChain 統合について学習します。