分類モデルの公平性とバイアスの監視
Databricks レイクハウス モニタリングを使用すると、分類モデルの予測を監視して、異なるグループに関連付けられているデータに対してモデルが同様に実行されるかどうかを確認できます。 たとえば、ローンのデフォルトの分類器が、異なる人口統計の申請者に対して同じ偽陽性率を生成するかどうかを調査できます。
Work with fairness and bias メトリクス
公平性とバイアスを監視するには、 Boolean スライス式を作成します。 Trueと評価されるスライス式で定義されたグループは、保護グループ(つまり、バイアスをチェックするグループ)と見なされます。たとえば、 slicing_exprs=["age < 25"]を作成した場合、 slice_key = "age < 25" および slice_value = True で識別されるスライスは保護グループと見なされ、 slice_key = "age < 25" および slice_value = False で識別されるスライスは保護されていないグループと見なされます。
モニターは自動的にコンピュート グループ間で分類モデルの性能を比較するメトリクス。 プロファイルメトリクステーブルには、次のメトリクスが報告されます。
predictive_parityは、グループ間でモデルの精度を比較します。predictive_equalityは、グループ間の誤検出率を比較します。equal_opportunityは、ラベルが両方のグループに対して等しく予測されるかどうかを測定します。statistical_parityこれは、グループ間の予測結果の差を測定します。
これらのメトリクスは、分析タイプが InferenceLog で、 problem_type が classificationの場合にのみ計算されます。
これらのメトリクスの定義については、次のリファレンスを参照してください。
- 機械学習の公平性に関するウィキペディアの記事:
https://en.wikipedia.org/wiki/Fairness_(machine_learning) - 公平性の定義の説明、バーマとルービン、2018年
公平性とバイアスのメトリクスの出力
これらのメトリクスの詳細と、メトリクス テーブルでメトリクスを表示する方法については、 API リファレンス を参照してください。 すべての公平性とバイアス メトリクスは、以下に示すように同じデータ型を共有し、キーと値のペアとして "one-vs-all" 方式で、すべての予測クラスにわたる公平性スコア コンピュートを示します。
これらのメトリクスに対してアラートを作成できます。 たとえば、モデルの所有者は、公平性メトリクスがしきい値を超えたときにアラートを設定し、そのアラートをオンコールの担当者またはチームにルーティングして調査を行うことができます。