資格情報の編集

Databricks は、監査ログと log4j Apache Spark ログのキーと資格情報を編集して、情報漏えいからデータを保護します。 Databricks は、ログ記録時に 3 種類の認証情報 (AWS アクセスキー、AWS シークレットアクセスキー、URI の認証情報) を編集します。 これらのシークレットが検出されると、Databricks はそれらをプレースホルダーに置き換えます。 一部の資格情報の種類では、Databricks は、検証のために資格情報の md5 チェックサムの最初の 8 進バイトである hash_prefixも追加します。

AWS アクセスキーの編集

AWS アクセスキーの場合、Databricks は AKIA で始まる文字列を検索し、 REDACTED_AWS_ACCESS_KEY(hash_prefix)に置き換えます。 たとえば、Databricks は次のように 2017/02/08: Accessing AWS using AKIADEADBEEFDEADBEEF ログに記録します。 2017/01/08: Accessing AWS using REDACTED_AWS_ACCESS_KEY(655f9d2f)

AWS シークレットアクセスキーの編集

Databricks は、ハッシュを追加せずに AWS シークレットアクセスキーを REDACTED_POSSIBLE_AWS_SECRET_ACCESS_KEY に置き換えます。 たとえば、Databricks は 2017/01/08: Accessing AWS using 99Abcdeuw+zXXAxllliupwqqqzDEUFdAtaBrickX を 2017/01/08: Accessing AWS using REDACTED_POSSIBLE_AWS_SECRET_ACCESS_KEYとしてログに記録します。

AWS にはシークレットアクセスキーの明示的な識別子がないため、Databricks が AWS シークレットアクセスキー以外の、一見ランダムに生成された 40 文字の文字列を編集する可能性があります。

URI リダクションにおける資格情報

Databricks は URI で //username:password@mycompany.com を検出し、 username:password を REDACTED_CREDENTIALS(hash_prefix)に置き換えます。 Databricks コンピュート username:password ( :を含む) からのハッシュ。 たとえば、Databricks は 2017/01/08: Accessing https://admin:admin@mycompany.com を 2017/01/08: Accessing https://REDACTED_CREDENTIALS(d2abaa37)@mycompany.comとしてログに記録します。