València, 23 de abril de 2025. Expertos internacionales del ámbito de la regulación, seguridad e investigación sobre privacidad han destacado la doble vertiente de la inteligencia artificial agentiva. Por un lado, los agentes autónomos pueden aumentar los riesgos de la privacidad, con el fomento del exceso de intercambio de información, y actuar sin que el usuario sea plenamente consciente de ello al difuminar los límites legales, como el consentimiento marco del RGPD. Y por otro lado, puede convertirse en una herramienta que mejore la privacidad al actuar con asistentes personales que ayuden a los usuarios a navegar por políticas complejas de privacidad y a gestionar permisos.

Estas han sido algunas de las conclusiones más destacadas de la mesa de debate “Seguridad y privacidad en la IA” celebrada en el marco del taller SPRINT sobre seguridad y privacidad en inteligencia artificial que se centra en los retos relacionados con la seguridad y privacidad de la inteligencia artificial, con especial atención en los sistemas de IA generativa e IA agentiva, tanto desde una perspectiva de sistemas como centrada en las personas.

El taller ha sido organizado por el Laboratorio de Seguridad, ética y Privacidad de la IA Centrada en el Ser Humano (HASP) de INGENIO (CSIC-UPV) y el Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) en el marco del proyecto “SPRINT: Seguridad y Privacidad en Sistemas con  Inteligencia Artificial” (C063/23), parte del convenio entre INCIBE y la Universitat Politècnica de València incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU .

La mesa de debate ha contado con el catedrático de Informática de la Universitat Rovira i Virgili de Tarragona, Josep Domingo-Ferrer, la catedrática de informática de la Universidad Karstad y de la Universidad Tecnológica de Chalmers (Suecia), Simone Fischer-Hübner, el adjunto al director de Innovación y Tecnología de la Agencia Española de Protección de Datos, Daniel Mercader Rodríguez, y la profesora asociada del King´s College de Londres, Ruba Abu-Salma. Y ha sido moderada por la investigadora posdoctoral en VRAIN de la UPV, Rongjun Ma.

Privacidad en los datos de interacción, más que en los de entrenamiento

Otro de los aspectos destacados de este debate se ha centrado en cómo los riesgos para la privacidad de la IA ya no se refieren principalmente a los datos de entrenamiento, sino a los de interacción. Aunque las investigaciones sugieren que los modelos de aprendizaje automáticos modernos y bien diseñados tienen en cuenta estas características y son relativamente robustos frente a los ataques tradicionales a la privacidad durante su entrenamiento, los sistemas de IA generativa introducen una nueva capa de riesgo ya que procesan continuamente y pueden aprender de los datos introducidos por los usuarios en tiempo real.

Contribuyentes activos de datos sensibles durante su uso

En este sentido, el panorama actual de las amenazas se transforma de forma sustancial, ya que los usuarios ya no son meros sujetos que proporcionan datos, sino que se convierten en contribuyentes activos de datos sensibles durante su uso. Y no llegan a entender del todo cómo esos datos pueden reutilizarse, conservarse o influir en sistemas futuros.

Esta mesa de debate abordó cuatro temáticas principales. Por una parte, los riesgos para la seguridad y la privacidad en la IA generativa. Por otra, los posibles riesgos agravados con el auge de la IA agentiva. Además de las partes implicadas y dónde recae la responsabilidad. Y por último, las orientaciones futuras para la seguridad y la privacidad desde el diseño.

Adopción informada y respaldada por nuevas directrices

En este sentido, en cuanto a las partes implicadas y dónde recae la responsabilidad en materia de seguridad, los expertos destacaron que, desde una perspectiva regulatoria, el auge de los agentes de IA plantea retos inmediatos. Así, autoridades como la Agencia Española de Protección de datos ya observa que las empresas están adoptando este tipo de tecnologías sin llegar a comprender plenamente los riesgos asociados. En este sentido, las actuaciones se encaminan a garantizar una adopción informada y respaldada por nuevas directrices, como los recientes libros blancos de implementación segura.

Otra de las conclusiones de este debate en la que coincidieron los expertos es en señalar que la privacidad en la IA ya no es una característica de diseño puntual, sino un proceso continuo. Y señalaron que, puesto que los sistemas de IA evolucionan a través de interacciones y actualizaciones continuas, una protección eficaz de la privacidad requiere auditorías constantes, supervisión y concienciación de los usuarios, en lugar de comprobaciones de cumplimiento estáticas.

Proyectos estratégicos de INCIBE

INCIBE tiene como misión particular el impulso de las capacidades en ciberseguridad de la sociedad y la economía en general a través de un programa que persigue la promoción y generación del conocimiento y la transferencia del mismo al sector productivo, especialmente estableciendo sinergias entre los ámbitos sociales y económicos de la ciberseguridad. Para desarrollar este propósito se lanzó en 2018 el programa de ayudas para la excelencia de los equipos de investigación avanzada en ciberseguridad. En 2022, en concreto el pasado 5 de diciembre, para dar continuidad a esta estrategia se publicó la invitación pública para la colaboración en la promoción de Proyectos Estratégicos de Ciberseguridad en España.

Estas iniciativas se engloban dentro del Programa Global de Innovación en Seguridad, contemplado en el Plan de Recuperación, Transformación y Resiliencia (PRTR) a través del Componente 15. Inversión 7 Ciberseguridad: Fortalecimiento de las capacidades de ciudadanos, pymes y profesionales e impulso del sector.

Los proyectos estratégicos son una forma de aportar soluciones concretas a algunos de los mayores desafíos científicos y tecnológicos de nuestra sociedad y economía. Están destinados a impulsar la aplicación de los resultados de la investigación y la innovación, combinando nuevas formas de gobernanza y colaboración, así como involucrando a la ciudadanía y al tejido productivo y social.

Sobre INCIBE

El Instituto Nacional de Ciberseguridad es una entidad dependiente del Ministerio para la Transformación Digital y de la Función Pública, a través de la Secretaría de Estado de Telecomunicaciones e Infraestructuras Digitales, consolidado como entidad de referencia para el desarrollo de la ciberseguridad y de la confianza digital de los ciudadanos y las empresas. Además, es un motor de transformación social y oportunidad para la innovación, fomentando la I+D+i y el talento.

Sobre UPV

La Universitat Politècnica de València (UPV) es, según el Academic Ranking of World Universities (ARWU), conocido como ranking de Shanghai, la mejor universidad tecnológica de España. Más del 70% del alumnado de la UPV ya trabaja al año de haber finalizado sus estudios. Y ello se debe en buena medida a las prácticas en empresa que son remuneradas. La UPV mantiene más de mil convenios que permiten el intercambio de estudiantes con otras universidades europeas, de América Latina, Estados Unidos, Canadá, Australia, China y Japón. En sus poco más de 50 años de historia, ha producido más de 145.000 publicaciones científicas. Es líder nacional en número de patentes y una de las instituciones académicas españolas que más ingresos obtiene gracias a su actividad investigadora.