Los modelos de IA generativa, son entrenados con conjuntos de datos obtenidos de páginas web, foros, redes sociales y otras fuentes de internet. Es cierto que estos modelos destacan por producir respuestas coherentes y versátiles, pero no están exentos de fallos, mostrando a menudo sesgos dañinos o discriminatorios derivados de los datos que procesan. Para abordar este problema, investigadores de la Universitat Oberta de Catalunya (UOC) y de la Universidad de Luxemburgo han desarrollado LangBiTe, un programa de código abierto diseñado para evaluar si estos modelos están libres de sesgos y cumplen con las normativas de no discriminación.
“El objetivo de LangBiTe no es comercial. Pretende ser un recurso útil tanto para desarrolladores de herramientas de IA generativa como para usuarios no técnicos, ayudando a detectar y mitigar los sesgos en los modelos y permitiendo, en última instancia, crear sistemas de IA mejores en el futuro”, explica Sergio Morales, investigador del grupo Systems, Software and Models (SOM Research Lab) del Internet Interdisciplinary Institute (IN3) de la UOC. El trabajo doctoral de Morales se ha centrado en esta innovadora herramienta. El proyecto está supervisado por Robert Clarisó, profesor de los Estudios de Informática, Multimedia y Telecomunicación e investigador principal del SOM Research Lab, y Jordi Cabot, investigador de la Universidad de Luxemburgo.
Un enfoque integral hacia una IA ética
LangBiTe se diferencia de programas similares por su amplio alcance y profundidad. Según los investigadores, es la herramienta “más completa y detallada” disponible para identificar sesgos en modelos de IA generativa. A diferencia de experimentos anteriores que se centraban principalmente en la discriminación de género entre hombres y mujeres, LangBiTe evalúa una amplia gama de preocupaciones éticas y minorías vulnerables.
“Nuestra investigación ha revelado cómo algunos modelos de IA pueden responder a ciertas consultas de manera racista, con sesgos políticos claros o con connotaciones homófobas o tránsfobas”, señalan los investigadores. También destacan que, aunque otros estudios han categorizado modelos de IA en diversas dimensiones, el enfoque ético ha sido “demasiado superficial, sin evaluaciones específicas de aspectos críticos”.
LangBiTe permite a las organizaciones evaluar si las aplicaciones impulsadas por IA cumplen con los estándares éticos adaptados a los contextos y consideraciones culturales de sus usuarios. “LangBiTe no prescribe ningún marco moral particular. Lo que es ético o no depende en gran medida del contexto y la cultura de la organización que implementa funciones de IA generativa en sus productos. Por lo tanto, nuestro enfoque permite a los usuarios definir sus preocupaciones éticas y criterios de evaluación para adaptar la detección de sesgos a su contexto cultural y normativo”, explican los investigadores.
Características y funcionalidad
LangBiTe incluye una biblioteca con más de 300 prompts—preguntas o instrucciones utilizadas para interactuar con la IA—, cada una dirigida a una preocupación ética específica, como el edadismo, la LGBTIQA-fobia, los sesgos políticos, los prejuicios religiosos, el racismo, el sexismo y la xenofobia. Estos prompts tienen respuestas predefinidas que ayudan a los usuarios a evaluar si la salida del modelo está sesgada. Además, la herramienta ofrece plantillas personalizables, lo que permite a los usuarios ampliar y enriquecer la biblioteca con nuevas preguntas o preocupaciones éticas.
Si bien es cierto que muchos modelos populares de IA se han desarrollado predominantemente en inglés, están surgiendo iniciativas regionales con modelos entrenados en otros idiomas, como puede ser el español y el italiano. En respuesta, los investigadores de la UOC han integrado funcionalidades en LangBiTe para evaluar herramientas de IA en varios idiomas. “Esta función permite a los usuarios detectar si un modelo muestra sesgos dependiendo del idioma empleado en las consultas”, señala Morales.
Futuras direcciones: Ampliando la detección de sesgos a modelos de imágenes
El equipo también está trabajando en adaptar LangBiTe para analizar sesgos en modelos de generación de imágenes. “Estas herramientas se utilizan cada vez más para propósitos que van desde la creación de libros infantiles hasta el acompañamiento de artículos periodísticos, lo que puede propagar estereotipos perjudiciales o distorsionados. Esperamos que las futuras versiones de LangBiTe sean útiles para detectar y corregir cualquier tipo de sesgo en imágenes generadas por estos modelos”, destaca Morales.
Apoyo al cumplimiento de regulaciones de la UE
Las capacidades de LangBiTe están alineadas con los objetivos de la Ley de Inteligencia Artificial de la Unión Europea (EU AI Act). Esta legislación busca garantizar que los nuevos sistemas de IA promuevan el acceso equitativo, la igualdad de género y la diversidad cultural, al tiempo que evitan prácticas discriminatorias. Las características de LangBiTe pueden ayudar a las organizaciones a cumplir con estos requisitos normativos proporcionando evaluaciones detalladas de los sesgos en los modelos de IA.
Instituciones como el Luxembourg Institute of Science and Technology (LIST) ya han adoptado LangBiTe para evaluar varios modelos populares de IA generativa.
Desde ACTIONS, como desarrolladores, sabemmos que LangBiTe representa un paso significativo hacia la creación de sistemas de IA más justos y éticos, empoderando tanto a desarrolladores como a usuarios para abordar los sesgos de manera efectiva y contribuir a un futuro digital más equitativo.
Te recomendamos:
2025: Un Año Decisivo para la IA y la Ciberseguridad Empresarial