既存のテーブル
プレビュー
Lakewatchは プライベート プレビュー段階です。アクセスをリクエストするには、Databricksアカウントチームにお問い合わせください。
既存のテーブル 取り込み方法を使用して、ワークスペースにすでに存在するUnity CatalogのDeltaテーブルまたはビューを取り込みます。Lakewatchはソーステーブルを直接読み取り、データをコピーするのではなく、アタッチされたパーサーを実行して解析済みテーブルを作成します。
このページは、既存のテーブルからデータソースを作成するための完全なガイドです。作成済みのデータソースを管理する（設定の編集、パーサーの変更、モニタリングを行う）には、データソースの作成と管理を参照してください。
ソースは、マネージドまたは外部の Delta テーブル、ストリーミングテーブル、Delta Sharing テーブル、または単一の上流テーブルから読み取るビューにすることができます。複数のテーブルを結合するビュー（例：UNION ALL）はサポートされていません。
データソースを作成する
「 データソース 」で「 データソースの追加 」をクリックし、「 カスタムデータソース 」を選択します。作成ページで、「 ソースタイプ 」を「 Unity Catalog テーブル 」に設定します。
作成フォームの次のフィールドに入力します：
- データソース名: データソースの一意の名前を入力します。
- ソーステーブルまたはビュー： 既存のUnity Catalogテーブルまたはビューの完全修飾名を
catalog.schema.table形式で入力するか、参照アイコンをクリックして選択します。テーブルを選択した後、 データプレビュー にそのデータが表示されるため、正しいテーブルを選択したかを確認できます。
データソースのランとしてのIDを設定します。 詳細設定 を展開して、以下を構成します。
- 新しい行のみを処理: Lakewatchがソーステーブルに既にある行をバックフィルするかどうかを制御します。defaultで選択されているため、Lakewatchはデータソースが作成された後に追加された行のみを取り込みます。これをクリアすると、既に存在する行も取り込まれます（大規模なソースでは時間がかかるバックフィル）。その後、すべての新しいcommitで継続されます。この設定は、最初の起動時にのみ有効であり、作成後に変更することはできません。Delta Sharingテーブルは増分読み取りをサポートしていないため、このオプションはそれらには適用されません。Lakewatchはすべての行を処理します。
- パフォーマンス最適化： 取り込みを高速化するには、パフォーマンス最適化コンピュート（オン）または標準コンピュート（オフ）を使用します。defaultでは、ワークスペースの取り込みコンピュート設定が使用されます。
データソース作成後にソーステーブルを変更することはできません。変更するには、データソースを再作成してください。
timeに使用される列でソーステーブルがリキッドクラスタリングされている場合、そのデータソースを読み取るクエリーや検出ルールは最適なパフォーマンスを発揮します。そうでない場合、Lakewatchは構成中に警告を表示します。その列がトップレベルのTIMESTAMP列またはTIMESTAMP_NTZ列の場合は、ノートブックまたはSQLエディターでALTER TABLE catalog.schema.my_source_table CLUSTER BY (my_time_column)を実行して、ソーステーブルに直接クラスタリングを追加します。このとき、my_time_columnはソーステーブルの時間列です。既存のテーブルでリキッドクラスタリングを有効にするを参照してください。
時間列がトップレベルの列ではない場合、TIMESTAMPまたはTIMESTAMP_NTZタイプではない場合、またはSQL式によって導出される場合、クラスター化を直接追加することはできません。
パーサーの添付とデータソースの作成
- パーサーを添付します。 取り込まれたデータをスキーマ化するために1つまたは複数のパーサーを添付します：ソースに一致する組み込みパーサー、または自身で作成したパーサーを使用します。パーサーの照合の仕組みとパーサーが生成する列については、「パーサーの添付」を参照してください。
- データソースを作成します。 データソースを作成 をクリックします。データソースは処理スケジュールで直ちに起動します。停止するには、データソースを削除してください。
データソースの他の設定（処理スケジュール、コンピュート、アノテーション）は、作成後の 概要 tabでいつでも編集できます。データソース設定の構成を参照してください。
AIゲートウェイのトレースLogsを取り込む
AIゲートウェイ統合トレースは、モデルとツールのリクエスト（ガードレールとポリシーの決定、トークンの使用量、リクエスターのIDを含む）を、あなたが所有するUnity Catalog Deltaテーブル（unity_gateway_otel_spans）に記録します。これは標準のUnity Catalogテーブルであるため、 既存のテーブル メソッドでLakewatchに取り込み、クエリーを実行して検出ルールを適用できます。
- トレースを有効にします。 AI Gateway UIでメタストアのトレーステーブルをセットアップします。統合トレーステーブルを参照してください。
- データソースを作成します。 上記のステップに従い、トレーステーブルの完全修飾名を ソーステーブルまたはビュー として使用します。
- アクセス権を付与します。 データソースの 実行者ID には、トレーステーブルを読み取り、宛先スキーマに書き込む権限が必要です。データに対して記述する検出ルールは、それ自体の実行者IDの下でランします。これには同じアクセス権が必要です。
データソースを作成せずに、 クエリーページ で直接、または検出ルールからトレーステーブルをクエリーすることもできます。