拡張ネットワークトラフィックLogs
プレビュー
この機能はプライベート プレビュー段階です。試用については、Databricksの連絡先にお問い合わせください。
拡張ネットワークトラフィック Logs は、Databricks Serverless コンピュートからの送信ネットワークトラフィックを記録します。default では、送信ネットワークアクセスイベントのシステムテーブルには、Serverlessエグレスコントロールによって拒否されたリクエストのみが記録されます。拡張ネットワークトラフィック Logs では、許可されたリクエストも記録されるため、Serverlessワークロードの接続先を確認して、接続のトラブルシューティングを行うことができます。
ログをクエリーするには、拡張ネットワークトラフィックLogsのクエリーを参照してください。
ユースケース
次の用途には、拡張ネットワークトラフィックLogsを使用します：
- ネットワークアクティビティを調査： Serverlessワークロードがアクセスした宛先、アクセスした時刻、ワークスペースを確認できます。
- ネットワークポリシーを調整する： アクセス頻度の低い宛先を見つけ、Serverlessのエグレス許可リストから削除するかどうかを判断します。
- 接続のトラブルシューティング： Serverlessエグレス制御がリクエストを許可したか拒否したかを判断します。
- ネットワークコストを調査する： Serverlessワークロードがアクセスしたクロスリージョン、インターネット、およびプライベートの宛先を特定します。
- ストレージ接続を最適化する： 頻繁にアクセスされるストレージ保存先のうち、プライベート接続を利用するか、ワークロードと同じリージョンに配置することでメリットが得られる可能性があるものを見つけます。
仕組み
許可されたネットワークアクセスイベント
拡張ネットワークトラフィックLogsは、ALLOWEDイベントを既存のsystem.access.outbound_networkテーブルに追加します。このテーブルには、SQLウェアハウス、ジョブ、LakeFlow Pipelines、Databricks Apps、Model Serving Endpointなどのサーバレスワークロードからのアウトバウンドネットワークアクセスイベントが記録されます。許可されたイベントには、クラウドストレージ、インターネットの宛先、およびプライベート接続経由で到達するリソースへのリクエストが含まれます。テーブルスキーマの全容については、ネットワークアクセスイベント システムテーブル リファレンスを参照してください。
access_type列は各イベントの結果を示します：
Value | 説明 |
|---|---|
| アウトバウンド通信ネットワークアクセスが許可されていました。拡張ネットワークトラフィックLogsでのみ利用できます。 |
| 強制モードで適用されているServerlessエグレス制御により、アウトバウンドネットワークアクセスが拒否されました。 |
| 送信ネットワークアクセスはServerlessエグレス制御によって拒否されるはずでしたが、ポリシーがドライランモードだったため許可されました。 |
リクエストに記録されるaccess_typeとdestination_typeの値は、宛先とServerlessエグレスポリシーモードによって異なります：
ネットワークリクエスト | 制限なしのイグレス | ドライランモード | 強制モード |
|---|---|---|---|
許可されたストレージアクセス |
| ログに記録されない |
|
ポリシーに違反するストレージアクセス | 該当なし |
|
|
VPCリソースへのアクセスを許可 |
|
|
|
ポリシーに違反するVPCリソースへのアクセス | 該当なし |
|
|
許可されたインターネットアクセス |
|
|
|
ポリシーに違反するインターネットアクセス | 該当なし |
|
|
許可されたDNSイベントでは、destinationにドメイン名またはストレージのホスト名が含まれます。許可されたSTORAGEイベントでは、destinationにストレージのホスト名とパスが含まれます。解決された宛先IPアドレスはdns_event.rdataまたはstorage_event.rdataに含まれています。拒否されたイベントでは、これらのフィールドは空です。
制限事項
拡張ネットワークトラフィック Logs には、次の制限があります：
- Model Serving Endpointからの外部モデルアクセスについては、許可されたイベントはログに記録されません。
- Serverlessエグレス制御がドライランモードのワークスペースからのストレージアクセスでは、許可されたイベントはログに記録されません。
- MLflowやdbtのアーティファクトなど、ワークスペース内部ストレージへのアクセスについては、許可されたイベントは記録されません。
- OpenSharingプロバイダーのストレージへのアクセスについては、許可されたイベントはログに記録されません。
- 約1分未満でランされるワークロードからの許可されたトラフィックは、ログに記録されない可能性が高くなります。特に、スケジュールされた非対話型ワークロードや、エグレスポリシーに制限のないワークスペースではその傾向があります。
これらの制限は、Serverlessエグレス制御の適用方法や、拒否されたリクエストのログ記録方法には影響しません。
よくある質問
以下の質問では、拡張ネットワークトラフィック Logs で見られる一般的な動作について説明します。
拡張ネットワークトラフィックLogsを使用するには、Serverlessエグレスコントロールが必要ですか？
いいえ。制限のないServerlessエグレスポリシーを設定しているワークスペースでも、許可されたアウトバウンドネットワークアクセスイベントは記録されます。
ワークロードの終了後にネットワークアクセスイベントが表示されるのはなぜですか？
Databricksは、ワークロードの終了後も、Delta Logsやメタデータを維持するためなどに、ストレージへのアクセスを続ける場合があります。ユーザーワークロードが実行されていない場合でも、これらのリクエストによってネットワークアクセスイベントが生成されることがあります。Serverlessコンピュートインスタンスが終了すると、イベントは停止します。
ネットワークアクセスログに見慣れないホスト名が表示されるのはなぜですか？
ログに記録される宛先の一部は、プラットフォーム運用に使用されるDatabricks管理のリソースです：
ホスト名パターン | 目的 |
|---|---|
| ServerlessコンピュートのStartup時間を短縮します |
| Databricks default ストレージ。 |
| default サンプルデータセットへのアクセス。 |
認識できないホスト名がほかに表示された場合は、Databricksアカウントチームにお問い合わせください。
ネットワークトラフィックLogsが表示されるまで、どれくらいかかりますか？
ほとんどのアウトバウンドネットワークアクセスイベントは、リクエストから15分以内に表示されます。レイテンシは変動する可能性があり、DatabricksはこれらのLogsに対するレイテンシのサービスレベルアグリーメント（SLA）を提供していません。