Joy Buolamwini convirtió una falla técnica en una pregunta política. Mientras trabajaba con sistemas de visión artificial, observó algo que no debería pasar en una tecnología presentada como objetiva: algunos programas detectaban mejor ciertos rostros que otros. La máquina no fallaba al azar. Fallaba de manera desigual.
Esa observación terminó en Gender Shades, un proyecto del MIT Media Lab que evaluó sistemas comerciales de análisis facial con una mirada interseccional: no solo preguntó si el sistema clasificaba mejor a hombres que a mujeres, o a personas de piel clara que a personas de piel oscura, sino qué ocurría cuando esas variables se cruzaban.
El resultado fue incómodo para la industria. Los sistemas evaluados tenían desempeños muy distintos según el grupo. El caso más grave aparecía en rostros de mujeres de piel oscura, donde la tasa de error podía superar ampliamente la de hombres de piel clara. Lo importante no era solo el número, sino la demostración: una IA entrenada con datos sesgados puede convertir una desigualdad social en una desigualdad automatizada.
Qué significa el "coded gaze"
Buolamwini usa la idea de "coded gaze", o mirada codificada, para nombrar algo más amplio que un bug. Un algoritmo no mira el mundo desde ningún lugar neutral. Mira desde los datos que recibió, desde las decisiones de quienes lo diseñaron, desde las categorías que alguien eligió medir y desde los objetivos comerciales o institucionales que guían su uso.
Esto no significa que toda inteligencia artificial sea inútil o inevitablemente discriminatoria. Significa que una tecnología puede amplificar sesgos si se la despliega sin auditorías, sin diversidad en los equipos, sin reportes por subgrupos y sin mecanismos de reparación cuando produce daño.
La diferencia es central. Hablar de sesgo algorítmico no es rechazar la tecnología: es pedir que sea evaluada con el mismo rigor con el que se vende. Si un sistema se usa para seguridad, empleo, crédito, salud o educación, no alcanza con saber su precisión promedio. Hay que saber a quién beneficia, a quién excluye y en qué condiciones falla.
Por qué Gender Shades fue más que una investigación
Gender Shades funcionó como investigación, pero también como intervención pública. Puso presión sobre empresas que vendían sistemas de reconocimiento o análisis facial sin explicar suficientemente sus límites. Además, mostró que el problema no era abstracto: si una cámara, una aplicación o una plataforma identifica peor a determinados grupos, esos grupos cargan con más riesgo de error.
La investigación también ayudó a instalar una práctica necesaria: la auditoría algorítmica. En vez de aceptar que una IA funciona porque el proveedor lo afirma, se la puede probar con conjuntos de datos más representativos y con métricas que revelen diferencias entre grupos.
La lección para la IA actual
Desde que Buolamwini empezó a denunciar estos problemas, la inteligencia artificial se volvió más visible y más cotidiana. Ya no se habla solo de reconocimiento facial. También se discuten modelos generativos, sistemas de recomendación, filtros de contenido, herramientas de contratación, asistentes de escritura y modelos usados en servicios públicos.
La pregunta sigue siendo parecida: ¿quién queda bien representado en el sistema y quién queda afuera? Una IA puede parecer brillante en una demo y fallar cuando se encuentra con acentos, rostros, nombres, cuerpos, dialectos o contextos que no estuvieron en el centro de su entrenamiento.
Por eso la figura de Buolamwini importa más allá de una tecnología específica. Su trabajo recuerda que la justicia algorítmica no se resuelve con promesas de neutralidad. Requiere pruebas, transparencia, responsabilidad y poder para cuestionar sistemas que toman decisiones sobre personas reales.
Fuente original: MIT Media Lab: Gender Shades
