メインコンテンツまでスキップ
に最終更新

AIと機械学習

SAP Databricks AI機能は、データの収集と準備から、モデル開発と LLMOps、提供とモニタリングに至るAIライフサイクルを統合します。 SAP Databricksを使用すると、単一のプラットフォームでMLの開発と展開のあらゆるステップを実行できます。 data scientists 、データ エンジニア、 MLエンジニア、 DevOps 、同じツール セットとデータの単一の真実のソースを使用してジョブを実行できます。

この記事では、人工知能 (AI) および機械学習 (ML) システムの構築を支援するために SAP Databricks が提供するツールについて説明します。

特徴量​

SAP Databricks には、次の AI 機能と ML 機能が含まれています。

  • AI Playground：DatabricksワークスペースからAIモデルをテストします。プロンプトを表示、比較、およびシステムプロンプトや推論パラメーターなどの設定を調整できます。
  • AI Functions は、テキスト翻訳や感情分析などのAIを Databricksに保存されているデータに適用するために使用できます。
  • Unity AI Gateway：サポートされているAIモデルおよびそれに関連するモデルサービングEndpointへのアクセスを管理およびモニタリングするため。
  • LLM（ライフサイクルモデル）をデプロイするためのモデルサービング。
  • トレンド検索は、埋め込みベクトルを保存し、ナレッジ ベースに自動的に同期するように構成できる、クエリ可能なベクトル データベースを提供します。
  • データプロファイリングによるデータモニタリングと、推論テーブルを使用した自動ペイロードロギングによるモデル予測品質およびdriftの追跡。
  • Managed MLflow エージェントと機械学習モデルのライフサイクル向け。
  • カスタムエージェントにより、検索拡張生成（RAG）アプリケーションのような本番運用品質のエージェントを構築およびデプロイすることができます。
  • RAGアプリケーションとチェーンを含むAIアプリケーションの品質、コスト、レイテンシーを評価するためのAgent Evaluation。
  • AutoML は、データセットに機械学習を適用するプロセスを簡素化します。
  • 基盤モデル ファインチューニング 独自のデータを使用して基盤モデルをカスタマイズし、特定のアプリケーションに対してそのパフォーマンスを最適化します。
  • Unity CatalogAIモデルやエクスペリメントなどの 資産を管理するための 。

Unity Catalog で AI アセットを管理する​

SAP Databricks 、データレイヤーとMLプラットフォームを統合します。 モデルや関数などのすべてのデータ資産とアーティファクトは、単一のカタログで検出および管理できます。 データとモデルに単一のプラットフォームを使用することで、生データから本番運用モデルまでのリネージを追跡することができます。 データとモデルのモニタリングを組み込むと、高品質のメトリクスがプラットフォームに保存されるテーブルに保存され、モデルのパフォーマンス問題の根本原因を特定しやすくなります。

AI PlaygroundによるLLMとのチャット、AIアプリのプロトタイピング​

AI Playgroundを使用して、サポートされている大規模言語モデルと対話できます。AI Playgroundは、LLMをテスト、プロンプト、比較できるチャットのような環境です。AI Playgroundを使用してLLMsとチャットし、AIアプリをプロトタイプ化するを参照してください。

AI Functionsで を使用するSQL​

には、 に保存されているデータにテキスト翻訳や感情分析などのAI Functions を適用するために使用できる組み込み関数があります。AIDatabricksこれらは、ノートブックと SQL エディターから実行できます。アナリスト、 data scientists、機械学習エンジニアは、 AI 機能を使用して、独自のデータにデータインテリジェンスを適用できます。 SAP を使用したデータへの の適用AIDatabricksAI Functions を参照してください。

AIゲートウェイ​

AI Gatewayは、組織内のAIモデルとエージェントの使用および管理を効率化するように設計されています。これは、モデルサービングEndpointにガバナンス、モニタリング、および本番運用の準備をもたらす一元化されたサービスです。これにより、組織のAI導入を民主化し加速させるために、AIトラフィックを実行し、保護し、統制することもできます。モデルサービングEndpointでのUnity AI Gatewayの構成を参照してください。

モデルサービングを使用してモデルをデプロイします。​

モデルサービングは、リアルタイム推論およびバッチ推論のためのAIモデルのデプロイ、管理、およびクエリを実行するための統一されたインターフェースを提供します。提供する各モデルは、REST APIとして利用可能であり、Webアプリケーションやクライアントアプリケーションに統合できます。

モデルサービング Endpoint は、AIモデルにアクセスするために特別に設定できます：

  • 基盤モデルを用いた最先端のオープンLLM API.
  • Databricks の外部でホストされているサードパーティモデル。

ベクトル検索​

ダイヤル検索は、 Databricksデータ インテリジェンス プラットフォームに組み込まれ、そのガバナンスおよび生産性ツールと統合されたダイヤル検索ソリューションです。 トレンド検索は、埋め込みベクトルを保存し、ナレッジ ベースと自動的に同期するように構成できる、クエリ可能なベクトル データベースを提供します。 埋め込み表現は、RAG（Retrieval Augmented Generation）、推薦システム、画像認識など、類似性検索を必要とするアプリケーションにとって非常に重要です。

データプロファイリング​

データプロファイリングを使用すると、アカウント内のすべてのテーブルのデータの統計プロパティと品質をモニタリングできます。また、モデルの入力と予測を含む推論テーブルをモニタリングすることで、機械学習モデルとモデルサービングEndpointのパフォーマンスを追跡することもできます。データプロファイリングによるデータとAIアセットのモニタリングを参照してください。

マネージド MLflow​

SAP Databricksは、MLflowのマネージド版を提供しています。MLflowは 、エージェント、LLM、 MLモデルのための最大のオープンソースAIエンジニアリング プラットフォーム です。 MLflowあらゆる規模のチームが、コストを管理し、モデルとデータへのアクセスを管理しながら、本番運用レベルのAIアプリケーションのデバッグ、評価、監視、最適化を行うことを可能にします。 毎月3,000万回以上ダウンロードされているMLflow 、毎日何千もの組織がAI自信を持って本番運用に導入するために利用しています。

MLflowのエージェントおよびLLMアプリケーション向けの包括的な機能セットには、本番運用レベルの可観測性、評価、プロンプト管理、コストとモデルアクセスを管理するためのAIゲートウェイなどが含まれます。

機械学習 ( ML ) モデル開発のために、 MLflow体験追跡、モデル評価機能、本番運用モデル レジストリ、およびモデル展開ツールを提供します。

カスタムエージェント​

カスタムエージェントは、LangChainやLlamaIndexなどのサードパーティ製フレームワークと互換性があり、お好みのフレームワークで開発しながら、DatabricksのマネージドUnity Catalog、Agent Evaluation Framework、およびその他のプラットフォームの利点を活用できます。

エージェント評価​

エージェント評価は、開発者がRAGアプリケーションやチェーンを含む、エージェント型AIアプリケーションの品質、コスト、およびレイテンシを評価するのに役立ちます。エージェント評価は、品質上の問題点を特定するとともに、それらの問題の根本原因を突き止めることを目的としています。Agent Evaluation の機能は、 MLOpsライフサイクルの開発、ステージング、本番運用の各フェーズにわたって統合されており、すべての評価メトリクスとデータはMLflow実行に記録されます。

AutoML 予測​

AutoML 予測は、フルマネージド コンピュート リソースで実行しながら、最適なアルゴリズムとハイパーパラメータを自動的に選択することで、時系列データの予測を簡素化します。 予測エクスペリメントを実行するには、「 AutoML 予測」を参照してください。

基盤モデル ファインチューニング​

注記

この製品を使用するには、ワークスペースがサポートされているリージョン us-east-1にある必要があります。

基盤モデル ファインチューニングを使用すると、独自のデータを使用して基盤モデルをカスタマイズし、特定のアプリケーションに合わせてパフォーマンスを最適化できます。 基盤モデルのファインチューニングや継続的なトレーニングを行うことで、モデルを一からトレーニングするよりも大幅に少ないデータ、時間、コンピュートリソースで自分のモデルをトレーニングすることができます。

詳細情報​

Databricks の機械学習と人工知能の機能の詳細については、Databricks AI と機械学習の完全なドキュメントを参照してください。SAP Databricks でサポートされている AI および機械学習機能のセットは、AWS と GCP にデプロイされたアカウントで異なります。

このページの見出し