Surveiller l'équité et les biais pour les modèles de classification
Grâce au profilage des données, vous pouvez surveiller les prédictions d'un modèle de classification pour voir si le modèle se comporte de manière similaire sur les données associées à différents groupes. Par exemple, vous pouvez déterminer si un classificateur de default de prêt génère le même taux de faux positifs pour les demandeurs de différentes données démographiques.
Travailler avec les métriques d'équité et de biais
Pour surveiller l'équité et les biais, créez une expression de tranche booléenne. Le groupe où l'expression de tranche s'évalue à True est le groupe protégé (c'est-à-dire, le groupe pour lequel vous vérifiez la présence de biais). Par exemple, si vous créez slicing_exprs=[“age < 25”], la tranche avec slice_key = « age < 25 » et slice_value = True est le groupe protégé. Le segment avec slice_value = False est le groupe non protégé.
Le profil calcule automatiquement des métriques qui comparent les performances du modèle de classification entre les groupes. Le tableau des métriques de profil affiche les métriques suivantes :
predictive_parity, qui compare la précision du modèle entre les groupes.predictive_equality, qui compare les taux de faux positifs entre les groupes.equal_opportunity, qui mesure si une étiquette est prédite aussi bien pour les deux groupes.statistical_parity, qui mesure la différence entre les résultats prédits entre les groupes.
Ces métriques s'appliquent uniquement lorsque le type d'analyse est InferenceLog et que problem_type est classification.
Pour les définitions de ces indicateurs, consultez les références suivantes :
- Équité (Machine Learning) article Wikipédia sur l'équité en Machine Learning
- Définitions de l'équité expliquées, Verma et Rubin, 2018
Sorties des métriques d’équité et de biais
Pour plus de détails sur ces métriques et sur la façon de les afficher dans les tables de métriques, consultez la référence de l’API. Toutes les métriques d'équité et de biais partagent le même type de données, les scores d'équité étant calculés pour toutes les classes prédites selon une approche *un-contre-tous* sous forme de paires clé-valeur.
Vous pouvez créer une alerte sur ces métriques. Par exemple, le propriétaire du modèle peut configurer une alerte lorsque la métrique d'équité dépasse un certain threshold, puis acheminer cette alerte vers une personne ou une équipe d'astreinte pour enquête.