MedAID-ML es un nuevo conjunto de datos pensado para avanzar en la detección de textos generados por inteligencia artificial en el ámbito biomédico. Reúne tanto escritos originales elaborados por personas, obtenidos de fuentes públicas y autorizadas, como textos creados con algunos de los modelos de lenguaje más potentes de la actualidad: Mistral-7b, Llama-3.1-70b y GPT-4o. Además, incluye traducciones paralelas y revisadas en cuatro idiomas —inglés, alemán, español y francés—, lo que lo convierte en un recurso multilingüe de gran valor. Con más de 13.000 documentos y cerca de 3,8 millones de palabras, MedAID-ML se presenta como una herramienta clave para impulsar la investigación en este campo emergente.
En este trabajo, los investigadores exploraron distintas arquitecturas de modelos de lenguaje para la detección automática de textos generados por IA, obteniendo resultados muy prometedores. Además, aplicaron métodos de explicabilidad que ofrecen pistas valiosas sobre los patrones y rasgos lingüísticos más frecuentes en los textos generados por IA.
Una de las conclusiones más destacadas del estudio proviene de la evaluación humana. Los investigadores pidieron a un grupo de expertos que identificaran si un texto había sido redactado por una IA o por una persona. Los resultados fueron claros: con una precisión de apenas un 50%, la tarea resultó extremadamente difícil incluso para especialistas, lo que refuerza la necesidad de contar con herramientas automáticas sólidas.
Este trabajo es un paso crucial para garantizar que la información médica sea veraz y transparente, algo esencial para la seguridad de los pacientes y la integridad de la investigación científica.
La presentación en el congreso CLEF, un referente global en la evaluación de sistemas de recuperación de información, representa un logro significativo para el grupo HULAT y sus colaboradores. El proyecto consolida su posición de liderazgo en el campo del procesamiento del lenguaje natural y pone de relieve la importancia de la colaboración internacional para afrontar los retos de la inteligencia artificial.