分類モデルの公平性と偏りを監視する

データプロファイリングを使用すると、分類モデルの予測を監視して、モデルが異なるグループに関連付けられたデータに対して同様に機能するかどうかを確認できます。 たとえば、ローン デフォルト 分類器が、異なる人口統計の申請者に対して同じ誤検出率を生成するかどうかを調査できます。

公正性とバイアスメトリクスの取り扱い

公平性と偏りを監視するには、 Booleanスライス式を作成します。 Trueに評価されるスライス式によって定義されたグループは、保護されたグループ (つまり、バイアスをチェックする対象となるグループ) と見なされます。たとえば、 slicing_exprs=["age < 25"]を作成すると、 slice_key = “age < 25” およびslice_value = Trueで識別されるスライスは保護されたグループと見なされ、 slice_key = “age < 25” およびslice_value = Falseで識別されるスライスは保護されていないグループと見なされます。

プロファイルは、グループ間の分類モデルのパフォーマンスを比較するメトリクスを自動的にコンピュートします。 次のメトリクスがプロファイル メトリクス テーブルに報告されます。

• predictive_parityグループ間のモデルの精度を比較します。
• predictive_equalityグループ間の偽陽性率を比較します。
• equal_opportunityこれは、ラベルが両方のグループに対して同様に予測されるかどうかを測定します。
• statistical_parityグループ間の予測結果の差を測定します。

これらのメトリクスは、分析タイプがInferenceLogで、 problem_typeがclassificationの場合にのみ計算されます。

これらのメトリクスの定義については、次の参考資料を参照してください。

• 機械学習における公平性に関するWikipediaの記事: https://en.wikipedia.org/wiki/Fairness_(machine_learning)
• 公平性の定義の説明、Verma and Rubin、2018

公平性とバイアス メトリクスの出力

これらのメトリクスの詳細と、それらをメトリクス テーブルで表示する方法については、 APIリファレンスを参照してください。 すべての公平性とバイアス メトリクスは、以下に示すように同じデータ型を共有し、キーと値のペアとして「1 対すべて」方式ですべての予測クラスにわたる公平性スコアのコンピュートを示します。

これらのメトリクス上にアラートを作成できます。 たとえば、モデルの所有者は、公平性メトリクスがあるしきい値を超えたときにアラートを設定し、そのアラートを調査のためにオンコール担当者またはチームにルーティングできます。