Israel González Carrasco (Projects)

The HumanAI project, led by the HULAT-UC3M group in coordination with the NIL-UCM group, aims to address the challenges faced by people with cognitive disabilities when using generative Artificial Intelligence (AI) tools. This project focuses on promoting inclusivity and accessibility in generative AI, reducing the digital divide, and improving the quality of life for these individuals while maintaining a commitment to environmental responsibility.

The goal is to define a framework and methods for multimodal generative AI tools in Spanish, ensuring they are cognitively accessible, customizable, and easy to understand through active user participation throughout the project, from refining language models to designing user interfaces. Achieving these objectives supports the project's research hypothesis that advances in accessible and customizable user interfaces, alongside innovative AI and Natural Language Processing (NLP) approaches, can close the digital divide for people facing cognitive accessibility barriers when using new generative AI tools.

This HULAT subgroup project, HumanAI-LANG, will focus on tackling the challenges posed by the rapid progression of generative AI technologies, particularly those based on large language models (LLMs). The challenges include difficulties in prompt usage, understanding interaction content, and interpreting results. The aim of this subproject is to explore open-source LLMs and adapt them through instruction-based fine-tuning approaches, including people in the process.

Additionally, datasets (corpora) with human-feedback-driven instructions will be created for fine-tuning LLMs, particularly considering people with cognitive disabilities in Spanish—a language that has less representation in LLMs compared to English. This will allow generative AI models to be tailored to meet the needs of these users while generating textual content that complies with plain language and easy-to-read guidelines. The project will also integrate alternative communication methods, such as pictograms and visual elements, to enhance understanding of the obtained results.

Moreover, training and fine-tuning LLMs are energy-intensive tasks, and the operation of generative AI systems has raised environmental concerns.

This subproject has been awarded FPI funding, and a doctoral thesis titled Human-in-the-loop in LLMs fine-tuning in the context of cognitive impairments will be conducted.

Funding: €183,368.74

  • Reference: PID2023-148577OB-C21
  • Financing: Agencia Estatal de Investigación. Convocatoria 2023 de «Proyectos de Generación de Conocimiento». Plan Estatal de Investigación Científica, Técnica y de Innovación 2021-2023.
  • Project type: Público
  • State: Activo
  • Principal investigator: Paloma Martínez, Lourdes Moreno
  • Other investigator: Belén Ruiz-Mezcua, Israel González Carrasco, Jose Luis Lopez-Cuadrado, Isabel Segura-Bedmar, Jesús Manuel Sánchez Gómez
  • Duration: -

The ZERO project presents itself as an innovative solution to address the challenges of accessibility, inclusion, and sustainability in urban mobility. Designed to facilitate the use of both public and private transportation, its focus is especially directed at vulnerable groups, seeking to overcome barriers such as the digital divide and to promote a safe, integrated, and accessible transportation system. Through IoT technologies, ZERO simplifies authentication and payments in transportation, while enhancing the user experience through interactive applications. Its goal is to provide a safe, multimodal transportation service with personalized fares, promoting sustainable mobility tailored to individual needs.

The project is built on four key pillars: artificial intelligence for a flexible fare structure, an IoT device for biometric or contactless authentication, mobile and web applications to maximize accessibility, and advanced cryptographic technologies to protect data. This integrated ecosystem promises to revolutionize mobility, promoting inclusion and simplifying transportation usage processes.

Supported by a consortium of specialized partners, ZERO seeks to make a significant impact on the lives of vulnerable people, aligning with the Sustainable Development Goals and new regulations on inclusive and sustainable mobility. The project will be tested in real-world scenarios, ensuring its practical viability and future commercialization, with the support of the Empresa Municipal de Transportes de Madrid (EMT). Project partners include THE BASEMENT, a leader in innovation and AI, EMT, which will provide the operational environment, UPM-TRANSyT, responsible for socioeconomic analysis, UPM-STRAST, focused on data privacy and security, and UC3M-HULAT, responsible for ensuring accessibility and inclusion.

Together, the ZERO project stands as a key step toward accessible, sustainable, and equitable mobility for all, recognizing mobility as a fundamental right that contributes to social cohesion and collective well-being.

Funding: €339,079.25

  • Reference: CPP2023-010411
  • Financing: Agencia Estatal de Investigación. Proyectos de Colaboración Público-Privada. Programa Estatal para impulsar la Investigación Científico-Técnica y su Transferencia, del Plan Estatal de Investigación Científico, Técnica y de Innovación 2021-2023
  • Project type: Público
  • State: Activo
  • Principal investigator: Lourdes Moreno
  • Other investigator: Paloma Martínez, Belén Ruiz-Mezcua, Israel González Carrasco, Jose Luis Lopez-Cuadrado
  • Duration: -

Las personas con discapacidad sensorial (auditivas o visuales) se encuentran con graves barreras de comunicación en la sociedad y en el mundo que les rodea. Además, esta situación genera exclusión social y es uno de los motivos que impide a los discapacitados sensoriales alcanzar la igualdad de derechos. Estos derechos son reconocidos por la organización de las Naciones Unidas en su Convención Internacional sobre los Derechos de las Personas con Discapacidad.
En la actualidad, el alcance técnico y el desarrollo acelerado de la Sociedad de la Información constituyen, por otra parte, una realidad favorable para favorecer la accesibilidad de todos los ciudadanos. El aspecto técnico de este proyecto de investigación se refiere a la subtitulación para las personas sordas y con discapacidad auditiva, especialmente en el contexto actual en el que las clases se imparten por videoconferencia o streaming. Los contenidos audiovisuales accesibles permiten una clara mejora de la calidad de vida de todo el colectivo de personas sordas. Además, las clases impartidas por un profesor o profesores pueden ser grabadas para su posterior consumo por parte de los alumnos.

En este contexto, la subtitulación de conferencias y clases en directo, presenciales o a distancia, y la generación de una transcripción de calidad que sirva de apoyo a los alumnos para su posterior consulta es un reto tecnológico actual para la accesibilidad de la educación. La principal alternativa para el subtitulado masivo de eventos en directo son las herramientas basadas en el reconocimiento automático del habla. Actualmente, en el contexto educativo, los subtítulos en tiempo real no tienen gran precisión lingüística y presentan retrasos entre el audio del vídeo y el texto (subtítulos). Estas deficiencias empeoran la percepción de la actividad docente por parte de los alumnos, tengan o no una discapacidad.

Es difícil sincronizar los subtítulos en una clase en directo en el entorno educativo, ya que es imposible retrasar la imagen del orador para hacerla coincidir con los subtítulos. De este modo, el alumno perdería la capacidad de interactuar con el profesor. Sin embargo, gracias a este proyecto es posible mejorar la calidad de los subtítulos. Además, la posibilidad de integrar la generación automática de la transcripción completa de la clase dentro del mismo sistema, junto con su posterior simplificación, facilitará el acceso a las clases online en igualdad de condiciones. Aunque el marco está enfocado a las clases online, puede ser utilizado en las presenciales. En este escenario, la transcripción se genera y procesa de la misma manera que en el escenario online, generando los contenidos accesibles para los alumnos.

Por lo tanto, la idea del proyecto es abordar un problema importante al que se enfrenta la educación accesible en España para eliminar las barreras de comunicación, generando así una solución inclusiva para todos. Aunque los principales usuarios del proyecto son las personas sordas y con discapacidad auditiva, otros usuarios pueden beneficiarse de él. La posibilidad de mejorar las habilidades de lectura y escritura es un valor añadido a los servicios de subtitulado y transcripción. Por último, el público en general se beneficiará de las transcripciones generadas, los resúmenes y las versiones simplificadas. Además, el proyecto cuenta con cartas de intención de AICE, FIAPAS y la Escuela de Educación Especial de Olivos, que se interesan por los resultados del mismo.

 

  • Reference: TED2021-132182A-I00
  • Financing: Proyectos de Transición Ecológica y Transición Digital. Ministerio de Ciencia e Innovación
  • Project type: Público
  • State: Activo
  • Principal investigator: Jose Luis Lopez-Cuadrado, Israel González Carrasco
  • Other investigator: Belén Ruiz-Mezcua, Paloma Martínez, Lourdes Moreno, Isabel Segura Bedmar
  • Duration: -

 

A significant portion of technologies involves interacting with people through user interfaces in interactive systems. Therefore, it is necessary to design accessible user interfaces which ensure that all people can access and operate these systems regardless of their visual, auditory, cognitive or motor abilities. For this reason, the primary aim of this project is to show the viability and application of accessibility techniques for the design and development of of video conferencing systems that ensure persons with disabilities (PWDs) can access and operate them. Due to the nature of accessibility requirements, this project will use a multidisciplinary approach based on the shared scientific knowledge that methods from fields such as Artificial Intelligence (AI) and Human-Computer Interaction (HCI) can provide.

There are users with sensory impairments, such as blind people, individuals with low vision, deaf individuals, or those with hearing impairments, who need video conferencing applications that include necessary accessibility requirements, such as services providing audio descriptions of videos and images, interfaces that are adapted in relation to sensory characteristics, subtitling services, voice-operated applications or screen readers. Furthermore, there are cognitive accessibility barriers that affect both people with intellectual disabilities and the elderly, all of whom require intuitive user interfaces, text simplification services, and the generation for text summarization summaries, among other tools, to assist in the understanding of texts, as set out in this project.

As specific contributions, design standards will be defined following HCI methods for the design of accessible and adaptable user interfaces. Additionally, affective computing and computational semiotic techniques will be explored with regards to their application in the interactive elements of user interfaces. Moreover, telematic techniques used to generate subtitles will be researched, as well as the use of AI techniques for the generation of high-quality transcriptions through the post-processing of subtitles. In the area of AI and Natural Language Processing (NLP), approaches will be explored to carry out the lexical simplification and the creation of corpora in the fields of Easy-to-Read texts and Plain Language. Furthermore, deep learning techniques used to text summarization will also be researched.

 

  • Reference: PID2020-116527RB-I00
  • Financing: Convocatoria 2020 Proyectos Generación del Conocimiento y Retos Investigación. MINISTERIO DE CIENCIA E INNOVACIÓN
  • Project type: Público
  • State: Activo
  • Principal investigator: Lourdes Moreno
  • Other investigator: Paloma Martínez, Belén Ruiz-Mezcua, Isabel Segura-Bedmar, Israel González Carrasco, Jose Luis Lopez-Cuadrado, José Luis Martínez Fernández, Rodrigo Alarcón, Cristóbal Colón Ruiz
  • Duration: -
  • https://access2meet.uc3m.es/

Accessibility in technologies for citizens of the public sector currently entails accessibility barriers for people with disabilities. The Public Administration (AAPP) despite having a history of actions in accessibility with its consequent progress, currently does not mostly comply with the accessibility regulations and does not respond to the needs of all citizens with disabilities.

In this sense, this proposal has three fundamental axes: 1) diagnosis to detect where the problem space is located and define a problem solution space, 2) offer documentary support to the Public Administrations in terms of cognitive and sensory accessibility, and 3) ) design of a proof of concept in a case of use of great impact in society with disabilities to illustrate good practices and their execution.

The diagnosis is made of the current state of compliance with accessibility in web pages, mobile apps, and telematic services for citizen assistance in emergency situations in the public sector (112 (emergencies), 016 (abuse due to gender violence), 024 (Attention to Suicidal Behavior)).

The support, documentation, and guides are provided to help the professionals of the Public administration, as well as to other agents of the private sector. These guides will deal with issues of the regulatory framework in terms of cognitive and sensory accessibility updated with the transpositions of European directives, accessibility to web pages, accessibility to mobile applications, accessibility to telematic services for citizen assistance in emergency situations, and good practices in accessibility policies to implement in an organization.

Finally, the proof of concept aims to provide good practices, as well as guidelines for the design and specification of its implementation of an emergency service for citizen care so that it is accessible and covers the needs of all citizens with disabilities.

  • Reference:
  • Financing: Financiado a través del Plan de Recuperación,Transformación y Resiliencia del Gobierno de España con los Fondos de la Unión Europea. Aprobado en Real Decreto 670/2022 de 1 agosto.
  • Project type: Público
  • State: Activo
  • Principal investigator: Lourdes Moreno, Belén Ruiz-Mezcua
  • Other investigator: José Manuel Sánchez-Pena, Paloma Martínez, Israel González Carrasco, Jose Luis Lopez-Cuadrado
  • Duration: -
  • https://access2citizen.cesya.es/

El 5% de la población mundial presenta algún tipo de discapacidad sensorial reconocida, ya sea visual o auditiva. Además, en España el 5,79% de la población presenta una discapacidad auditiva reconocida igual o superior al 33%. Esta situación se une al hecho de que España sigue su proceso de envejecimiento y que las personas mayores de 65 años tienden a presentar problemas de audición con el paso de los años. Debido a esto, cada vez más personas están encontrando grandes barreras de comunicación con la sociedad y el mundo que les rodea. Estas barreras dificultan e incluso a veces imposibilitan el proceso de comunicación y también hacen que el acceso a la información se convierta en un obstáculo que deben superar a diario.  Los servicios de subtitulado y audiodescripción asociados a los medios audiovisuales, ayudan a superar las barreras a las que se enfrentan las personas con discapacidad sensorial en su actividad diaria.

Además, en el caso de impartir una clase, actualmente existen servicios ASR que pueden generar una transcripción automática con una calidad muy razonable (siempre que se cumplan una serie de condiciones de contorno) sobre la que se pueden generar subtítulos que incluir en las clases. Por otro lado, se pueden incluir elementos de accesibilidad de lengua de signos y audiodescripción asociados a los contenidos audiovisuales a través de sistemas de producción audiovisual para hacerlos llegar a los estudiantes que los necesiten. 

Las actuales circunstancias asociadas a la pandemia de COVID-19 han llevado a que muchas clases se estén impartiendo online. Esto ha puesto de manifiesto la falta de plataformas que contemplen la inclusión de estos elementos de accesibilidad.

Por tanto, con la propuesta bajo de este proyecto se busca una doble finalidad: (i) conseguir un prototipo de plataforma que facilite la impartición de clases online accesibles y, (ii) como consecuencia de lo anterior, se proyecta incluir en la interfaz de la clase online de dicho prototipo canales de subtitulado automático, audiodescripción y lengua de signos de forma que no sea necesaria la producción audiovisual para incluirlos en la clase. De esta forma un audiodescriptor o un intérprete de lengua de signos podrían participar en la clase y los alumnos, recibir los elementos de accesibilidad que necesiten en tiempo real. Finalmente, se incluirá la puntuación en la transcripción para la generación de los apuntes que los alumnos puedan consultar posteriormente para facilitar el proceso de aprendizaje. De esta forma se conseguiría una plataforma de aprendizaje accesible y usable para diferentes personas con diferentes tipos de discapacidad contribuyendo a asegurar la formación y la educación a personas en graves riesgo de exclusión social.
 

  • Reference:
  • Financing: Financiado a través del Plan de Recuperación,Transformación y Resiliencia del Gobierno de España con los Fondos de la Unión Europea. Aprobado en Real Decreto 670/2022 de 1 agosto.
  • Project type: Público
  • State: Activo
  • Principal investigator: José Manuel Sánchez-Pena, Jose Luis Lopez-Cuadrado
  • Other investigator: Belén Ruiz-Mezcua, Lourdes Moreno, Paloma Martínez Fernández, Israel González Carrasco
  • Duration: -

El objetivo es el desarrollo de un sistema para procesamiento del texto libre de las historias clínicas electrónicas (HCE) del Hospital Universitario Fundación de Alcorcón (HUFA) utilizando técnicas de procesamiento de lenguaje natural y métodos de deep learning. HUFA fue uno de los primeros hospitales de la Comunidad de Madrid en disponer de HCE, desde su apertura a finales de 1997. En la actualidad la Comunidad de Madrid tiene integradas más 5 millones de HCE de las que sólo se procesan los metadatos estructurados. El resto de la información, en formato no estructurado (texto libre), a día de hoy permanece sin ser poder ser explotada por procesos automáticos. El desarrollo de tecnología capaz de procesar y explotar información no estructurada en texto libre de la HCE en el contexto actual de big data, puede tener muchas aplicaciones tanto en la mejora de la práctica clínica (generación automática de resúmenes de episodios relacionados con un paciente, sistemas de ayuda a la decisión clínica para personalizar diagnósticos y tratamiento de enfermedades, alertas de enfermedades infecciosas, mejora de los sistemas de farmacovigilancia, etc.) como en investigación (semi-automatización de los estudios epidemiológicos, por ejemplo en la identificación de los cohortes de pacientes). En concreto, la realización de estudios epidemiológicos implica una ardua labor en la revisión manual de un elevado número de HCE, lo que a su vez conlleva un gran número de recursos humanos y una ingente cantidad de horas de trabajo. Por tanto es crucial promover el desarrollo de técnicas automáticas que permitan obtener información de forma más ágil, convirtiendo la información no estructurada en estructurada y procesable por algoritmos automáticos, y facilitando así la toma de decisiones estratégicas.
El objetivo del proyecto es el desarrollo de técnicas de PLN y método de deep learning para el análisis de la información no estructurada de la HCE, con el fin último del de reducir el coste, en tiempo y recursos, de los estudios epidemiológicos. El proyecto tiene dos centros participantes: (Subproyecto 1) Grupo LABDA de la UC3M que desarrollará el sistema automático para el procesamiento de la HCE y (Subproyeto 2) HUFA cuyo equipo está formado por especialistas de la unidad de Alergología, que serán los encargados de llevar a cabo un estudio epidemiológico a partir de los datos obtenidos de la HCE mediante al uso de PLN y métodos de deep learning. En concreto, el estudio epidemiológico tendrán como principal objetivo estudiar la prevalencia de la anafilaxia en la población definida como caso de uso de aplicación. Varios profesionales del servicio de informática de HUFA serán los encargados de anonimizar las HCE para garantizar la protección de datos de los pacientes.
Aunque el sistema será desarrollado sobre la HCE del HUFA, la tecnología que se pretende desarrollar en el proyecto solicitado, podría ser aplicada directamente a la HCE de cualquier otro hospital. Además, su adaptación al estudio epidemiológico de otras patologías distintas a la anafilaxia (cáncer de mama, ictus, etc) es relativamente sencilla ya que los enfoques (deep learning) que se quieren abordar durante el proyecto son independientes del problema a tratar.

  • Reference: TIN2017-87548-C2-1-R
  • Financing:
  • Project type: Público
  • State: Activo
  • Principal investigator: Paloma Martínez Fernández, Isabel Segura Bedmar
  • Other investigator: Jose Luis Lopez-Cuadrado, Israel González Carrasco, José Luis Martínez Fernández, Lourdes Moreno, Belén Ruiz-Mezcua, Cristóbal Colón Ruiz, Rodrigo Alarcón
  • Duration: -

Public administrations are rapidly advancing towards the provision of basic and extended services for the citizen through the Web (EU eGovernment Report 2014). In addition to the decrement of costs, this effort will support all people’s civil right to have access to all public services (including people with disabilities and elderly people). For this reason the EU started diverse initiatives to “Meeting new societal needs by using emerging technologies in the public sector” in order to “foster efficient, open citizen-centric public services”. Efforts have been made for enhancing the usability and accessibility of public administrations’ websites but several studies revealed that this is not sufficient to support acceptable eGovernment applications. Other factors such as content/information quality and security are also required. Our overall objective is to produce a model-based software architecture for methodologically developing personalized inclusive public eServices that allow any user to interact with them in a satisfactory way, no matter the device used. This requires integrating appropriate user profiling and adaptation techniques into the model to tailor eServices to users’ characteristics, available technology, and service’s functionality. Hence, this project has a multidisciplinary nature and will be addressed through collaboration between researchers and experts in information technology and professionals of the eGovernment, combining diverse scientific backgrounds: • Modelling eGovernment services • Data mining to search for user patterns to feed user models • Human-computer interaction for user tailored interfaces, including universal accessibility and multidevice access • Natural language processing for accessible user interfaces • Model based software architectures for the methodological development of eGovernment applications. It is structured into two subprojects: Subproject 1, leaded by the EHU, will exploit real user interaction data from the eServices provided by Provincial Council of Gipuzkoa (PCG) to extract common usage patterns, anomalous usage of services, and accessibility barriers. Models of eServices will be built with the inclusion in the workgroup of experts on eGovernment (from the Quality Institute Netherlander Municipalities, the Service for Modernization of the PCG, and IZFE, a developer of applications for eAdministration). Starting from these models, user adaptive Web access will be provided by means of presentation, content and navigation adaptations. Subproject 2, leaded by UC3M, will create a software architecture for model-based development of eGovernment applications that includes support for accessibility and multidevice use (assisted by experts from the University of Lisbon). The definition of a model-based software architecture will be done in collaboration with the LoUISE research team from UCLM, which is currently developing a framework that can be extended to fit our needs. The results of the complete project will include models of: users of eGovernment applications; e-Services; and web adaptations required to ensure universal and multidevice accessibility. All of them will be integrated by the model-based architecture that will allow the creation of tools to develop fully accessible high quality eGovernment applications. In this way the project will contribute to increase citizens’ participation, to produce savings for governments and businesses, and to reduce administrative burden.

  • Reference: TIN2014-52665-C2-2-R
  • Financing: Ministerio de Economía y Competitividad
  • Project type: Público
  • State: Activo
  • Principal investigator: Paloma Martínez Fernández
  • Other investigator: Paloma Martínez Fernández, Lourdes Moreno, Isabel Segura Bedmar, José Luis Martínez Fernández, Belén Ruiz-Mezcua, Victor Suarez Paniagua, Israel González Carrasco, Jose Luis Lopez-Cuadrado
  • Duration: -
  • https://egovernability.wordpress.com