Unity CatalogでFeature Viewsを探索
プレビュー
この機能は パブリック プレビュー段階です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
Feature Viewsで説明されているように、Feature Viewは、論理的な特徴量定義としてUnity Catalogに登録され、その後、より効率的なトレーニングと推論のためにマテリアライズできます。Unity CatalogでFeature View定義を作成および登録した後、必要に応じてマテリアライズできます。Feature Viewの定義とマテリアライゼーションステータスは、検出とデバッグのためにCatalog Explorerから表示可能です。
権限
- Feature Viewの定義を検索して開くには、Feature Viewに対する
READ FEATURE権限と、親カタログおよびスキーマに対するUSE CATALOGおよびUSE SCHEMAが必要です。 - マテリアライズド features の状態を表示するには、同じ
READ FEATURE権限が必要です。ただし、基になるマテリアライズ パイプラインへの Link をたどるには、そのパイプラインを実行しているワークスペースへのアクセスが必要です。
Catalog Explorerを使用する
Feature Viewsは、Unity Catalog Catalog Explorerのカタログとスキーマ内の 「Functions」 という見出しの下に、他の関数と一緒に表示されます。Feature Viewsは、使用されるアイコンによって他の関数と区別できます。Feature Viewsは、スキーマ詳細ビュー内の 「Functions」 tab内にも表示されます。Unity Catalogスキーマに関する詳細情報については、「Databricksのスキーマとは何ですか?」を参照してください。
Feature Viewを確認する
以下は、Catalog Explorer の Feature View 詳細ページの例です。これには、Definition セクションと、以下で説明するマテリアライズド features セクションが含まれます。
定義セクション
Definition セクションには、基になる ソース table への Link とともに、feature に関する基本情報が表示されます。feature view は Unity Catalog のセキュリティ保護可能なオブジェクトであるため、プリンシパルには他の Unity Catalog のセキュリティ保護可能なオブジェクトと同様に、[Permissions] tab で権限を付与できます。Feature View の定義の詳細については、Feature Views を参照してください。
マテリアライズされた特徴量セクション
Feature View をマテリアライズすると、Databricks は計算済みの feature 値をテーブルに保存するため、モデル トレーニング、バッチ スコアリング、および online serving に再利用できます。マテリアライズド features セクションには、これらのテーブルの状態が表示されます。
- 各マテリアライズド feature は、保存時の feature データを保持するテーブルによって支えられています。オフライン features は Delta テーブルに保存され、オンライン features は online Feature Store に保存されます。クリックして、基になるテーブルを表示できます。
- 特徴量はグループとしてマテリアライズされるため、単一のテーブルに複数の特徴量が保持され、各特徴量は1つの列として格納されます。
- 各バッキングテーブルは独立したUnity Catalogオブジェクトであるため、他のUnity Catalogテーブルと同様にアクセスを管理します。
- 最終マテリアライゼーション時刻と、その成功または失敗が各マテリアライズされた特徴量について表示されます。
マテリアライゼーションの失敗
特徴量値が計算される前に、Databricksはオフラインおよびオンラインのマテリアライズされた特徴量に対して検証ジョブを実行します。このジョブは、権限エラーや構成エラーなどのユーザー向けエラーをプラットフォームエラーから分離します。検証エラーはマテリアライズされた特徴量に直接表示されるため、基盤となる問題を修正できます。
検証に成功した後で基盤となるマテリアライゼーションパイプラインが失敗した場合、これはプラットフォームエラーである可能性が高く、調査のためにDatabricksサポートチームに報告できます。
特徴量がマテリアライズされる方法は、その Trigger によって異なります。
CronScheduleまたはTableTriggerを使用する特徴量は、バッチでマテリアライズされます。結果とエラーメッセージは、マテリアライズされた特徴量セクションに表示されます。StreamingModeTrigger を使用する features は、Lakeflow宣言型パイプラインによってマテリアライズされます。Feature View の定義が検証に合格すると、パイプラインへのLinkが表示され、表示できます。
マテリアライゼーションパイプラインはシステム管理されているため、直接変更することはできませんが、REST APIまたは特徴量エンジニアリングSDKを使用して、これらのマテリアライズされた特徴量とそれに関連するパイプラインを削除できます。
制限事項
- Feature View のバッチマテリアライズは、現在 UI 内の Jobs & Pipelines tab では表示されません。ただし、ストリーミング Trigger 用の Feature View マテリアライズ パイプラインは、System Managed tab の下の Jobs & Pipelines tab 内で表示されます。
- Features は現在 Catalog Explorer 内で検索できず、 Recent tab にも表示されません。ただし、Catalog Explorer 内の Feature Views に移動できます。
- 現在、マテリアライゼーションパイプラインにアラートを設定することはできません。