Se suele pensar que los algoritmos son objetivos, pero la realidad es que la IA puede perpetuar e incluso amplificar los prejuicios humanos existentes. El sesgo algorítmico ocurre cuando un sistema de IA produce resultados sistemáticamente injustos para ciertos grupos de personas, a menudo debido a datos de entrenamiento defectuosos o decisiones de diseño no intencionadas.
Los modelos de IA aprenden del pasado. Si se entrena un algoritmo de contratación con datos históricos de una empresa que raramente contrataba mujeres, el algoritmo aprenderá que ser mujer es un rasgo negativo para el puesto. Los datos reflejan las desigualdades de la sociedad, y si no se limpian o equilibran, la IA simplemente automatizará esa desigualdad.
El sesgo también puede surgir de los propios desarrolladores. Si los equipos que crean la IA son homogéneos, pueden tener puntos ciegos y no prever cómo su tecnología afectará a diferentes demografías. Fomentar la diversidad de género, raza y origen en los equipos de ingeniería es una medida preventiva crucial para identificar posibles sesgos antes del lanzamiento.
Para combatir esto, está surgiendo el campo de la equidad algorítmica (Algorithmic Fairness). Implica el uso de herramientas matemáticas para medir el sesgo en los modelos y técnicas para mitigarlo. Además, las auditorías externas independientes se están convirtiendo en un estándar para certificar que los sistemas críticos son justos y seguros para todos los usuarios.