メインコンテンツまでスキップ
に最終更新

AIと機械学習

SAP Databricks AI機能は、データの収集と準備から、モデル開発と LLMOps、提供とモニタリングに至るAIライフサイクルを統合します。 SAP Databricksを使用すると、単一のプラットフォームでMLの開発と展開のあらゆるステップを実行できます。 data scientists 、データ エンジニア、 MLエンジニア、 DevOps 、同じツール セットとデータの単一の真実のソースを使用してジョブを実行できます。

この記事では、人工知能 (AI) および機械学習 (ML) システムの構築を支援するために SAP Databricks が提供するツールについて説明します。

特徴量​

SAP Databricks には、次の AI 機能と ML 機能が含まれています。

  • Databricksワークスペースから生成AI モデルをテストするためのAI Playground。プロンプトを表示、比較、およびシステムプロンプトや推論パラメーターなどの設定を調整できます。
  • AI Functions は、テキスト翻訳や感情分析などのAIを Databricksに保存されているデータに適用するために使用できます。
  • サポートされている生成AIモデルとそれに関連するモデルサービング エンドポイントへのアクセスを管理および監視するためのUnity AIゲートウェイ。
  • LLM（ライフサイクルモデル）をデプロイするためのモデルサービング。
  • トレンド検索は、埋め込みベクトルを保存し、ナレッジ ベースに自動的に同期するように構成できる、クエリ可能なベクトル データベースを提供します。
  • レイクハウスモニタリング for data monitoring and tracking model prediction quality and drift using automatic payload logging with inference tables.
  • AI エージェントと ML モデルのライフサイクルのためのマネージド MLflow。
  • Retrieval Augmented Generation (RAG) アプリケーションなどの本番運用品質のエージェントを構築およびデプロイするためのエージェント フレームワーク。
  • エージェント評価は、RAGアプリケーションやチェーンを含む、生成AIアプリケーションの品質、コスト、およびレイテンシを評価するためのツールです。
  • AutoML は、データセットに機械学習を適用するプロセスを簡素化します。
  • 基盤モデル ファインチューニング 独自のデータを使用して基盤モデルをカスタマイズし、特定のアプリケーションに対してそのパフォーマンスを最適化します。
  • Unity CatalogAIモデルやエクスペリメントなどの 資産を管理するための 。

Unity Catalog で AI アセットを管理する​

SAP Databricks 、データレイヤーとMLプラットフォームを統合します。 モデルや関数などのすべてのデータ資産とアーティファクトは、単一のカタログで検出および管理できます。 データとモデルに単一のプラットフォームを使用することで、生データから本番運用モデルまでのリネージを追跡することができます。 データとモデルのモニタリングを組み込むと、高品質のメトリクスがプラットフォームに保存されるテーブルに保存され、モデルのパフォーマンス問題の根本原因を特定しやすくなります。

LLMとチャットし、AI Playgroundを使用して生成AIアプリをプロトタイプ化​

AI Playgroundを使用して、サポートされている大規模言語モデルと対話できます。AI Playgroundは、LLMをテストしたり、促したり、比較したりできるチャットのような環境です。LLM とのチャットおよびAI Playgroundを使用した生成AI アプリのプロトタイピング を参照してください。

AI Functionsで を使用するSQL​

には、 に保存されているデータにテキスト翻訳や感情分析などのAI Functions を適用するために使用できる組み込み関数があります。AIDatabricksこれらは、ノートブックと SQL エディターから実行できます。アナリスト、 data scientists、機械学習エンジニアは、 AI 機能を使用して、独自のデータにデータインテリジェンスを適用できます。 SAP を使用したデータへの の適用AIDatabricksAI Functions を参照してください。

AIゲートウェイ​

AI Gatewayは、組織内におけるAIモデルおよびエージェントの利用と管理を効率化するように設計されています。 これは、モデルサービング エンドポイントにガバナンス、モニタリング、本番運用の準備をもたらす一元化されたサービスです。 また、AIトラフィックの実行、セキュリティ確保、ガバナンスを可能にし、組織におけるAI導入の民主化と加速化を実現します。「モデルサービング エンドポイントで Unity AI Gateway を構成する」を参照してください。

モデルサービングを使用してモデルをデプロイします。​

モデルサービングは、リアルタイム推論およびバッチ推論のためのAIモデルのデプロイ、管理、およびクエリを実行するための統一されたインターフェースを提供します。提供する各モデルは、REST APIとして利用可能であり、Webアプリケーションやクライアントアプリケーションに統合できます。

モデルサービングエンドポイントは、生成AI モデルにアクセスするために特別に設定できます。

  • 基盤モデルを用いた最先端のオープンLLM API.
  • Databricks の外部でホストされているサードパーティモデル。

ベクトル検索​

ダイヤル検索は、 Databricksデータ インテリジェンス プラットフォームに組み込まれ、そのガバナンスおよび生産性ツールと統合されたダイヤル検索ソリューションです。 トレンド検索は、埋め込みベクトルを保存し、ナレッジ ベースと自動的に同期するように構成できる、クエリ可能なベクトル データベースを提供します。 埋め込み表現は、RAG（Retrieval Augmented Generation）、推薦システム、画像認識など、類似性検索を必要とするアプリケーションにとって非常に重要です。

レイクハウス モニタリング​

Databricks レイクハウスモニタリングでは、アカウント内のすべてのテーブルのデータの統計プロパティと品質を監視できます。また、これを使用して、モデル入力と予測を含む推論テーブルを監視することにより、機械学習モデルとモデルサービングエンドポイントのパフォーマンスを追跡することもできます。 レイクハウスモニタリングによるデータとAI資産のモニターを参照してください。

マネージド MLflow​

SAP Databricksは、MLflowのマネージド版を提供しています。MLflowは 、エージェント、LLM、 MLモデルのための最大のオープンソースAIエンジニアリング プラットフォーム です。 MLflowあらゆる規模のチームが、コストを管理し、モデルとデータへのアクセスを管理しながら、本番運用レベルのAIアプリケーションのデバッグ、評価、監視、最適化を行うことを可能にします。 毎月3,000万回以上ダウンロードされているMLflow 、毎日何千もの組織がAI自信を持って本番運用に導入するために利用しています。

MLflowのエージェントおよびLLMアプリケーション向けの包括的な機能セットには、本番運用レベルの可観測性、評価、プロンプト管理、コストとモデルアクセスを管理するためのAIゲートウェイなどが含まれます。

機械学習 ( ML ) モデル開発のために、 MLflow体験追跡、モデル評価機能、本番運用モデル レジストリ、およびモデル展開ツールを提供します。

エージェントフレームワーク​

エージェントフレームワークは、検索拡張生成（RAG）アプリケーションのようなプロダクション品質のエージェントの構築、デプロイ、評価を支援するために設計されたDatabricks上のツールセットです。

LangChainやLlamaIndexなどのサードパーティフレームワークと互換性があるため、好みのフレームワークで開発でき、Databricks管理Unity Catalog、エージェント評価フレームワーク、およびその他のプラットフォームの利点を活用しながら開発できます。

エージェント評価​

エージェント評価は、開発者がRAGアプリケーションやチェーンを含む、エージェント型AIアプリケーションの品質、コスト、およびレイテンシを評価するのに役立ちます。エージェント評価は、品質上の問題点を特定するとともに、それらの問題の根本原因を突き止めることを目的としています。Agent Evaluation の機能は、 MLOpsライフサイクルの開発、ステージング、本番運用の各フェーズにわたって統合されており、すべての評価メトリクスとデータはMLflow実行に記録されます。

AutoML 予測​

AutoML 予測は、フルマネージド コンピュート リソースで実行しながら、最適なアルゴリズムとハイパーパラメータを自動的に選択することで、時系列データの予測を簡素化します。 予測エクスペリメントを実行するには、「 AutoML 予測」を参照してください。

基盤モデル ファインチューニング​

注記

この製品を使用するには、ワークスペースがサポートされているリージョン us-east-1にある必要があります。

基盤モデル ファインチューニングを使用すると、独自のデータを使用して基盤モデルをカスタマイズし、特定のアプリケーションに合わせてパフォーマンスを最適化できます。 基盤モデルのファインチューニングや継続的なトレーニングを行うことで、モデルを一からトレーニングするよりも大幅に少ないデータ、時間、コンピュートリソースで自分のモデルをトレーニングすることができます。

詳細情報​

Databricks の機械学習と人工知能の機能の詳細については、Databricks AI と機械学習の完全なドキュメントを参照してください。SAP Databricks でサポートされている AI および機械学習機能のセットは、AWS と GCP にデプロイされたアカウントで異なります。

このページの見出し