Un preprint examina cómo dos modelos de visión-lenguaje manejan ediciones faciales de raza y orientación sexual
Un preprint investiga cómo dos conocidos modelos de visión-lenguaje codifican identidades protegidas cuando se les pide transformar imágenes de rostros humanos para reflejar identidades raciales u orientación sexual. Los autores informan que los modelos a menudo cumplen, que el cumplimiento y la negativa no son deterministas y son sensibles al grupo, y que las imágenes generadas son estadísticamente distinguibles y a menudo acentúan estereotipos.
Qué pasó
- El artículo investiga dos conocidos modelos de visión-lenguaje y examina cómo codifican identidades protegidas mientras generan imágenes.
- Cuando se les pide transformar imágenes de rostros humanos para reflejar identidades raciales (p. ej., hispana, negra, blanca o asiática) y orientación sexual (p. ej., gay o heterosexual), los modelos a menudo cumplen con las solicitudes, según los autores.
- Los autores informan que el cumplimiento y la negativa no son deterministas y son sensibles al grupo, y que las imágenes generadas son estadísticamente distinguibles, a menudo acentuando estereotipos profundamente arraigados.
- El artículo informa además que los sesgos de representación introducidos durante la generación de imágenes pueden reaparecer en tareas de razonamiento textual y caracterización.
- Los autores afirman que el hallazgo no se limita a la identidad racial o la orientación sexual, y señalan que la generación de imágenes puede perpetuar sesgos en torno a la criminalidad, lo que suscita preocupación por el perfilado asistido por IA.
Por qué importa
Los resultados reportados sugieren que el comportamiento de generación de imágenes en estos modelos podría trasladar sesgos vinculados a estereotipos a tareas de texto posteriores, lo que importa para sistemas aplicados a rostros humanos.
Qué se desconoce
El resumen no nombra los dos modelos, no describe los conjuntos de datos ni los prompts, ni ofrece mediciones cuantitativas; los hallazgos provienen de un único preprint y no han sido confirmados de forma independiente. El resumen tampoco especifica cómo se juzgó que las imágenes eran estadísticamente distinguibles.
Cronología
- Versión 1