分類モデルの公平性と偏りを監視する
データプロファイリングを使用すると、分類モデルの予測を監視して、モデルが異なるグループに関連付けられたデータに対して同様に機能するかどうかを確認できます。 たとえば、ローン デフォルト 分類器が、異なる人口統計の申請者に対して同じ誤検出率を生成するかどうかを調査できます。
公正性とバイアスメトリクスの取り扱い
公平性と偏りを監視するには、 Booleanスライス式を作成します。 スライス式がTrueと評価されるグループが保護対象グループ（つまり、バイアスをチェックする対象となるグループ）です。例えば、 slicing_exprs=[“age < 25”]を作成すると、 slice_key = “age < 25” かつslice_value = Trueのスライスが保護グループになります。slice_value = Falseとなるスライスは保護されていないグループです。
プロファイルは、グループ間の分類モデルのパフォーマンスを比較するメトリクスを自動的にコンピュートします。 プロファイルメトリクス表には、以下のメトリクスが表示されます。
predictive_parityグループ間のモデルの精度を比較します。predictive_equalityグループ間の偽陽性率を比較します。equal_opportunityこれは、ラベルが両方のグループに対して同様に予測されるかどうかを測定します。statistical_parityグループ間の予測結果の差を測定します。
これらのメトリクスは、分析タイプがInferenceLogで、 problem_typeがclassification場合にのみ適用されます。
これらのメトリクスの定義については、次の参考資料を参照してください。
- 公平性（機械学習）機械学習における公平性に関するWikipediaの記事
- 公平性の定義の説明、Verma and Rubin、2018
公平性とバイアス メトリクスの出力
これらのメトリクスの詳細と、メトリクス テーブルでそれらを表示する方法については、 APIリファレンスを参照してください。 すべての公平性とバイアス メトリクスは同じデータ型を共有し、公平性スコアはキーと値のペアとして 1 対すべての 方法ですべての予測クラスにわたってコンピュートされます。
これらのメトリクス上にアラートを作成できます。 たとえば、モデルの所有者は、公平性メトリクスがあるしきい値を超えたときにアラートを設定し、そのアラートをオンコール担当者またはチームにルーティングして調査することができます。