Monitore a imparcialidade e o preconceito dos modelos de classificação
Visualização
Esse recurso está em Public Preview.
Com o monitoramento Databricks lakehouse, o senhor pode monitorar as previsões de um modelo de classificação para verificar se o modelo tem desempenho semelhante em dados associados a diferentes grupos. Por exemplo, o senhor pode investigar se um classificador de empréstimosdefault gera a mesma taxa de falso-positivo para candidatos de diferentes dados demográficos.
Trabalhar com métricas de justiça e preconceito
Para monitorar a imparcialidade e o viés, o senhor cria uma expressão de fatia Boolean. O grupo definido pela expressão de fatia avaliada como True é considerado o grupo protegido (ou seja, o grupo contra o qual você está verificando se há preconceito). Por exemplo, se você criar slicing_exprs=["age < 25"], a fatia identificada por slice_key = “age\ < 25” e slice_value = True será considerada o grupo protegido, e a fatia identificada por slice_key = “age\ < 25” e slice_value = False será considerada o grupo desprotegido.
O monitor calcula automaticamente as métricas que comparam o desempenho do modelo de classificação entre os grupos. As métricas a seguir são relatadas na tabela de métricas de perfil:
predictive_parity, que compara a precisão do modelo entre os grupos.predictive_equality, que compara as taxas de falsos positivos entre os grupos.equal_opportunityque mede se um rótulo é previsto igualmente bem para ambos os grupos.statistical_parity, que mede a diferença nos resultados previstos entre os grupos.
Essas métricas são calculadas somente se o tipo de análise for InferenceLog e problem_type for classification.
Para obter as definições dessas métricas, consulte as referências a seguir:
- Artigos da Wikipedia sobre justiça no aprendizado de máquina:
https://en.wikipedia.org/wiki/Fairness_(machine_learning) - Definições de justiça explicadas, Verma e Rubin, 2018
Resultados de métricas de imparcialidade e viés
Consulte a referênciaAPI para obter detalhes sobre essas métricas e sobre como view elas nas tabelas de métricas. Todas as métricas de imparcialidade e viés compartilham o mesmo tipo de dados, conforme mostrado abaixo, mostrando que as pontuações de imparcialidade são computadas em todas as classes previstas de maneira "um contra todos", conforme o par key-value.
O senhor pode criar um alerta sobre essas métricas. Por exemplo, o proprietário do modelo pode configurar um alerta quando a equidade métrica exceder algum limite e, em seguida, encaminhar esse alerta para uma pessoa ou equipe de plantão para investigação.