資格情報の編集

この記事では、Databricks がログ内のアクセス キーと資格情報を編集する方法の概要について説明します。

資格情報の編集の概要

資格情報の編集は、パスワードやAPIキーなどの機密情報をマスキングして不正アクセスを防ぐ重要なセキュリティプラクティスです。Databricks は、監査ログと log4j Apache Spark ログのキーと資格情報を編集して、データを情報漏洩から保護します。Databricks は、クラウドの資格情報と URI の資格情報を自動的に編集します。

一部の資格情報の種類では、Databricks は MD5 と呼ばれる方法を使用して資格情報から生成された短いコードである hash_prefixを追加します。このコードは、資格情報が有効であり、変更されていないことを確認するために使用されます。

クラウド認証情報の編集

編集されたクラウド資格情報には、いくつかの編集の置換のいずれかが含まれる場合があります。[REDACTED]と言う人もいれば、次のようなより具体的な置き換えがある人もいます。 REDACTED_POSSIBLE_CLOUD_SECRET_ACCESS_KEY.

Databricks では、ランダムに生成されたように見える特定の長い文字列を、クラウドの資格情報でなくても編集する場合があります。

AWS アクセスキーの編集

AWS アクセスキーの場合、Databricks は AKIA で始まる文字列を検索し、それらを REDACTED_AWS_ACCESS_KEY(hash_prefix)に置き換えます。

たとえば、Databricks のログは次のように2017/02/08: Accessing AWS using AKIADEADBEEFDEADBEEF 2017/01/08: Accessing AWS using REDACTED_AWS_ACCESS_KEY(655f9d2f)

AWS シークレットアクセスキーの編集

Databricks は、ハッシュを追加せずに AWS シークレットアクセスキーを REDACTED_POSSIBLE_AWS_SECRET_ACCESS_KEY に置き換えます。

たとえば、Databricks は 2017/01/08: Accessing AWS using 99Abcdeuw+zXXAxllliupwqqqzDEUFdAtaBrickX 2017/01/08: Accessing AWS using REDACTED_POSSIBLE_AWS_SECRET_ACCESS_KEYとしてログを記録します。

AWS にはシークレットアクセスキーの明示的な識別子がないため、Databricks は、AWS シークレットアクセスキー以外の、一見ランダムに生成された 40 文字の長い文字列を編集している可能性があります。

URI リダクションの資格情報

Databricks は URI の //username:password@mycompany.com を検出し、 username:password を REDACTED_CREDENTIALS(hash_prefix)に置き換えます。Databricks username:password からのハッシュ ( :を含む) をコンピュートします。

たとえば、Databricks は 2017/01/08: Accessing https://admin:admin@mycompany.com 2017/01/08: Accessing https://REDACTED_CREDENTIALS(d2abaa37)@mycompany.comとしてログを記録します。