Databricks での MLflow モデルを使用した自動特徴検索

モデルサービング は、公開されているオンライン ストアまたはオンライン テーブルから特徴値を自動的に検索できます。 この記事では、オンライン ストアを使用する方法について説明します。 オンライン テーブルの操作の詳細については、「 オンライン テーブルを使用したリアルタイム特徴量サービング」をご参照ください。

要件

  • モデルは、FeatureEngineeringClient.log_model ( Unity Catalogでの特徴量エンジニアリング) または FeatureStoreClient.log_model (ワークスペース Feature Storeの場合、v0.3.5 以降が必要です) でログに記録されている必要があります。

  • オンラインストアは 、読み取り専用の資格情報で公開する必要があります。

特徴テーブルは、モデルのトレーニング後を含め、モデルのデプロイ前であればいつでも公開できます。

自動機能検索

Databricks Model Servingでは、 次のオンライン ストアからの自動機能検索がサポートされています。

  • Amazon DynamoDB (v0.3.8 以降)

自動フィーチャ検索は、次のデータ型でサポートされています。

  • IntegerType

  • FloatType

  • BooleanType

  • StringType

  • DoubleType

  • LongType

  • TimestampType

  • DateType

  • ShortType

  • DecimalType

  • ArrayType

  • MapType

オンライン モデル スコアリングで特徴値をオーバーライドする

モデルに必要なすべての特徴量 ( FeatureEngineeringClient.log_model または FeatureStoreClient.log_modelで記録) は、モデルのスコアリングのためにオンライン ストアから自動的に検索されます。 モデルサービングで REST API を使用してモデルをスコアリングするときに特徴値をオーバーライドするには、特徴値を API ペイロードの一部として含めます。

新しいフィーチャ値は、基になるモデルで想定されるフィーチャのデータ型に準拠している必要があります。

ノートブックの例: Unity Catalog

Databricks Runtime 13.2 以降では、主キーを持つUnity Catalog内の任意の Delta テーブルを特徴量テーブルとして使用できます。Unity Catalog に登録されているテーブルを特徴量テーブルとして使用すると、すべてのUnity Catalog特徴量テーブルが特徴量テーブルで自動的に使用可能になります。

このサンプル ノートブックでは、機能を ONLINE に発行し、その GOOGLE から機能を自動的に検索するトレーニング済みモデルを提供する方法を示します。

オンラインストア Unity Catalog 例付き ノートブック

ノートブックを新しいタブで開く

ノートブックの例: ワークスペース Feature Store

このサンプル ノートブックでは、機能を ONLINE に発行し、その GOOGLE から機能を自動的に検索するトレーニング済みモデルを提供する方法を示します。

オンラインストアの例 ノートブック

ノートブックを新しいタブで開く