Sesgo algorítmico: el riesgo legal que nadie mide en sus sistemas de IA
Un sistema de scoring con sesgo no detectado es una demanda colectiva esperando pasar. Te explicamos cómo detectarlo y documentarlo.
El sesgo algorítmico ocurre cuando un sistema de inteligencia artificial produce resultados sistemáticamente desventajosos para ciertos grupos de personas — por género, edad, origen étnico, ubicación geográfica, u otras características protegidas — como consecuencia de los datos con los que fue entrenado o del diseño del modelo.
No es un problema teórico. Es uno de los riesgos legales más concretos y menos gestionados en empresas que usan IA para tomar decisiones sobre personas.
Por qué el sesgo es tan difícil de detectar
Un modelo de IA puede estar produciendo resultados sesgados aunque sus métricas de performance sean excelentes. El problema es que la mayoría de las métricas miden exactitud promedio — no equidad entre grupos.
Un modelo de scoring crediticio puede tener una precisión del 85% y al mismo tiempo rechazar sistemáticamente a personas de ciertos códigos postales a tasas significativamente más altas que el promedio. La precisión global no te dice nada sobre ese sesgo.
El marco legal que aplica hoy en Argentina
La Ley 23.592 contra actos discriminatorios aplica a decisiones automatizadas que produzcan efectos discriminatorios, aunque no haya intención discriminatoria. El criterio relevante es el efecto, no la intención.
El EU AI Act va más lejos y exige explícitamente que los sistemas de alto riesgo sean diseñados y desarrollados para minimizar el riesgo de resultados discriminatorios, con testing documentado y medidas técnicas específicas.
Los sectores con mayor exposición
Servicios financieros: modelos de scoring crediticio, aprobación de seguros, y detección de fraude son los casos más frecuentes de sesgo documentado a nivel global.
Recursos humanos: sistemas de screening de CVs y evaluación de candidatos. Amazon tuvo que abandonar su sistema de IA para RRHH en 2018 precisamente por sesgo de género.
Salud: modelos de priorización de atención y diagnóstico asistido por IA muestran tasas de error significativamente diferentes entre grupos demográficos.
Cómo empezar a medir el sesgo en tus sistemas
No necesitás un equipo de data scientists para dar los primeros pasos. El análisis básico de equidad requiere comparar las tasas de decisión positiva y negativa de tu modelo entre diferentes grupos demográficos relevantes.
Si tu sistema aprueba créditos, comparás tasas de aprobación por género, franja etaria, y zona geográfica. Si las diferencias son estadísticamente significativas y no están justificadas por variables de riesgo legítimas, tenés sesgo que documentar y gestionar.
Lo importante no es solo detectarlo — es documentar que lo mediste, qué encontraste, y qué medidas tomaste. Esa documentación es tu defensa ante una demanda o una auditoría regulatoria.
¿Cómo está tu empresa en este tema?
Hacé el assessment gratuito y obtené tu Score ARI en 10 minutos.
Iniciar Assessment