València, 4 de julio de 2025. El Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la Universitat Politècnica de València (UPV) ha demostrado en un estudio los riesgos que entrañan los chatbots generados con modelos de lenguaje de gran escala (LLMS) e IA generativa, como pueden ser ChatGPT, Bard, Llama o Bing Chat. Esto es debido a la facilidad con la que se pueden explotar los LLM para crear chatbots maliciosos con el objetivo de manipular a las personas para que revelen información personal, y los pocos conocimientos técnicos que se necesitan para lograrlo.

El estudio se ha llevado a cabo por el investigador de VRAIN y Catedrático de la UPV, José Such, el colaborador de VRAIN de la UPV, Juan Carlos Carillo, y del King’s College London, Dr Xiao Zhan y Dr William Seymour. A través de la realización de un ensayo aleatorio y controlado con 502 participantes, el estudio pone de manifiesto que las IAs conversacionales utilizadas de forma maliciosa extraen significativamente más información personal que las IAs conversacionales benignas.

Bajo el título “Una IA conversacional basada en modelos de lenguaje maliciosos hace que los usuarios revelen información personal”, el artículo presentará sus conclusiones en el 34 Simposio de Seguridad Usenix (Usenix Security Symposium) que se celebrará del 13 al 15 de agosto en Seattle (EE.UU). En él se subrayan las amenazas a la privacidad que plantea este nuevo tipo de chatbots maliciosos basados en LLM y se ofrecen recomendaciones prácticas para orientar la investigación y prácticas futuras.

El trabajo se enmarca en el proyecto “SPRINT: Seguridad y Privacidad en Sistemas con  Inteligencia Artificial” (C063/23), parte del convenio entre INCIBE y la Universitat Politècnica de València incluido en los Proyectos Estratégicos en España, en el marco del Plan de Recuperación, Transformación y Resiliencia, con la financiación de los Fondos Next Generation-EU .

Los humanos son los que utilizan de manera maliciosa la IA

Tal y como explica su investigador principal de VRAIN de la UPV, José Such “nosotros lo que hemos hecho es meternos entre la interfaz del chatbot y el LLM que hay detrás, explotando las capacidades de los LLM de manera maliciosa, demostrando que con diferentes estrategias se puede conseguir que el LLM converse con el usuario de manera que lo engañe y lo manipule”. Y destaca que “es interesante ver que con algunas estrategias, los usuarios se dan cuenta de que el chatbot está haciendo cosas raras y preguntando cuestiones extrañas, pero con las estrategias que explotan la naturaleza social de las conversaciones, no se dan cuenta, le siguen la conversación de forma natural, y pueden llegar a revelar información muy sensible”.

Con los resultados de este estudio “por un parte, demostramos que un chatbot se puede construir de manera maliciosa explotando el LLM que tengan por detrás, y por otra parte que no es la IA la que decide comportarse de manera maliciosa y manipular a los humanos, sino que es un humano el que le hace comportarse a la IA de manera maliciosa”.

Así, añade José Such: “Si tú le dices a la IA que le pregunte datos personales al usuario, no lo va a hacer, te dice que eso no está bien, pero si engañas a la  IA (por ejemplo le dices que eres un detective privado y necesitas los datos para tu caso) entonces sí le va a preguntar datos personales al usuario de la forma que tú le digas.”

Otro de los hallazgos importantes de esta investigación es que “son muy pocos los conocimientos técnicos que se necesitan para indicarle al modelo que se comporte de manera maliciosa. No se necesita saber ni programación, ni ser un hacker, simplemente escribir y darle las instrucciones de lo que tiene que hacer el LLM. Nosotros anonimizamos todos los datos y bajamos y probamos todo el proceso a nivel interno en la universidad para no proporcionar ningún dato personal a ChatGPT o ninguna tercera parte, pero la facilidad con la que se consigue que el LLM se comporte de forma maliciosa y la facilidad con la que los usuarios revelan información sensible es muy importante para evaluar el riesgo”, subraya José Such.

Y es que un chatbot de estas características, ya sea en manos de un actor malicioso con muchos recursos, bien un hacker, un ciberterrorista o un estado muy autoritario; o simplemente alguien con malas intenciones y un conocimiento mínimo de uso de LLMs o chatbots y con las preguntas adecuadas a formular a un LLM constituye un riesgo para la privacidad de las personas, añade el investigador principal de VRAIN de la UPV de este estudio.

 Proyectos estratégicos de INCIBE 

INCIBE tiene como misión particular el impulso de las capacidades en ciberseguridad de la sociedad y la economía en general a través de un programa que persigue la promoción y generación del conocimiento y la transferencia del mismo al sector productivo, especialmente estableciendo sinergias entre los ámbitos sociales y económicos de la ciberseguridad. Para desarrollar este propósito se lanzó en 2018 el programa de ayudas para la excelencia de los equipos de investigación avanzada en ciberseguridad. En 2022, en concreto el pasado 5 de diciembre, para dar continuidad a esta estrategia se publicó la invitación pública para la colaboración en la promoción de Proyectos Estratégicos de Ciberseguridad en España.

Estas iniciativas se engloban dentro del Programa Global de Innovación en Seguridad, contemplado en el Plan de Recuperación, Transformación y Resiliencia (PRTR) a través del Componente 15. Inversión 7 Ciberseguridad: Fortalecimiento de las capacidades de ciudadanos, pymes y profesionales e impulso del sector.

Los proyectos estratégicos son una forma de aportar soluciones concretas a algunos de los mayores desafíos científicos y tecnológicos de nuestra sociedad y economía. Están destinados a impulsar la aplicación de los resultados de la investigación y la innovación, combinando nuevas formas de gobernanza y colaboración, así como involucrando a la ciudadanía y al tejido productivo y social.

Sobre INCIBE

El Instituto Nacional de Ciberseguridad es una entidad dependiente del Ministerio para la Transformación Digital y de la Función Pública, a través de la Secretaría de Estado de Telecomunicaciones e Infraestructuras Digitales, consolidado como entidad de referencia para el desarrollo de la ciberseguridad y de la confianza digital de los ciudadanos y las empresas. Además, es un motor de transformación social y oportunidad para la innovación, fomentando la I+D+i y el talento.

Sobre UPV

La Universitat Politècnica de València (UPV) es, según el Academic Ranking of World Universities (ARWU), conocido como ranking de Shanghai, la mejor universidad tecnológica de España. Más del 70% del alumnado de la UPV ya trabaja al año de haber finalizado sus estudios. Y ello se debe en buena medida a las prácticas en empresa que son remuneradas. La UPV mantiene más de mil convenios que permiten el intercambio de estudiantes con otras universidades europeas, de América Latina, Estados Unidos, Canadá, Australia, China y Japón. En sus poco más de 50 años de historia, ha producido más de 145.000 publicaciones científicas. Es líder nacional en número de patentes y una de las instituciones académicas españolas que más ingresos obtiene gracias a su actividad investigadora.