¿Para qué sirve una recolección de datos?

En esta clase analizamos la importancia de la recolección de datos para evaluar el comportamiento de los modelos de lenguaje. Estas evaluaciones se realizan mediante benchmarks, conjuntos de pruebas diseñados para medir desempeño y, en particular, detectar sesgos. Los benchmarks de sesgo funcionan como experimentos controlados que incluyen frases y escenarios con estereotipos para observar cómo responde el modelo. Sin embargo, gran parte de la investigación actual se concentra en inglés, lo que implica que métricas, datasets y estrategias de mitigación están basadas en contextos culturales específicos y no siempre representan realidades como la latinoamericana.

En este marco se presenta el Proyecto HESEIA 2024, una experiencia formativa con docentes y estudiantes de Argentina que combinó alfabetización crítica en IA con producción colaborativa de datos. A través de la herramienta EDIA, se exploraron sesgos vinculados a clase social, género y nacionalidad, y se construyó un dataset de casi 50.000 oraciones con fuerte anclaje en contextos locales e interseccionales. Los resultados mostraron que muchos estereotipos regionales no son detectados por los modelos actuales. HESEIA se propone así como una intervención pedagógica y tecnológica a la vez: formar pensamiento crítico y, al mismo tiempo, contribuir a desarrollar benchmarks más justos, diversos y representativos.

Al finalizar la clase, te invitamos a completar unas preguntas. Las respuestas son calificadas y completar la actividad es requisito para finalizar y acreditar el curso.

👨‍🏫 Docente: Guido Ivetta