La IA ahora genera imágenes desde los recuerdos de las personas

María creció en Barcelona, España, en la década de 1940. Sus primeros recuerdos de su padre son vívidos. Cuando tenía seis años, María visitaba el apartamento de un vecino en su edificio cuando quería verlo. Desde allí, podía mirar a través de las rejas de un balcón hacia la cárcel de abajo y tratar de vislumbrarlo a través de la pequeña ventana de su celda, donde fue encerrado por oponerse a la dictadura de Francisco Franco.

No hay ninguna foto de María en ese balcón. Pero ahora puede sostener algo parecido: una foto falsa —o una reconstrucción basada en la memoria, como dice el estudio de diseño barcelonés Domestic Data Streamers— de la escena que una foto real podría haber capturado. Las instantáneas falsas están borrosas y distorsionadas, pero aún pueden rebobinar toda una vida en un instante.

"Es muy fácil ver cuándo tienes la memoria correcta, porque hay una reacción muy visceral", dice Pau Garcia, fundador de Domestic Data Streamers. "Pasa siempre. Es como, '¡Oh! ¡Sí! ¡Fue así!'".

Decenas de personas han visto cómo sus recuerdos se han convertido en imágenes de esta manera a través de Synthetic Memories, un proyecto dirigido por Domestic Data Streamers. El estudio utiliza modelos de imágenes generativas, como DALL-E de OpenAI, para dar vida a los recuerdos de las personas. Desde 2022, el estudio, que ha recibido financiación de la ONU y Google, ha estado trabajando con comunidades de inmigrantes y refugiados de todo el mundo para crear imágenes de escenas que nunca han sido fotografiadas, o para recrear fotos que se perdieron cuando las familias abandonaron sus hogares anteriores.

Ahora, Domestic Data Streamers se hace cargo de un edificio contiguo al Museo del Diseño de Barcelona para registrar los recuerdos de la ciudad a través de imágenes sintéticas. Cualquiera puede presentarse y contribuir con un recuerdo al creciente archivo, dice García.

Las memorias sintéticas podrían ser más que un esfuerzo social o cultural. Este verano, el estudio iniciará una colaboración con investigadores para averiguar si su técnica podría usarse para tratar la demencia.

Graffiti memorable
La idea del proyecto surgió de una experiencia que García tuvo en 2014, cuando trabajaba en Grecia con una organización que estaba reubicando a familias refugiadas de Siria. Una mujer le dijo que ella misma no tenía miedo de ser refugiada, pero que tenía miedo de que sus hijos y nietos siguieran siendo refugiados porque podrían olvidar su historia familiar: dónde compraban, qué vestían, cómo se vestían.

García consiguió voluntarios para dibujar los recuerdos de la mujer como grafitis en las paredes del edificio donde se alojaban las familias. "Eran dibujos muy malos, pero nació la idea de los recuerdos sintéticos", dice. Varios años después, cuando García vio lo que podían hacer los modelos de imágenes generativas, se acordó de ese grafiti. "Fue una de las primeras cosas que me vino a la mente", dice.

El proceso que García y su equipo han desarrollado es sencillo. Un entrevistador se sienta con un sujeto y hace que la persona recuerde una escena o evento específico. Un ingeniero de avisos con un ordenador portátil utiliza ese recuerdo para escribir un mensaje para un modelo, que genera una imagen.

Su equipo ha creado una especie de glosario de términos que han demostrado ser buenos para evocar diferentes períodos de la historia y diferentes lugares. Pero a menudo hay algunas idas y venidas, algunos ajustes en el mensaje, dice García: "Le muestras la imagen generada a partir de ese mensaje al sujeto y pueden decir: 'Oh, la silla estaba de ese lado' o 'Fue de noche, no de día'. Lo refinas hasta que llegas a un punto en el que hace clic".

Hasta ahora, Domestic Data Streamers ha utilizado la técnica para preservar la memoria de personas de varias comunidades migrantes, incluidas familias coreanas, bolivianas y argentinas que viven en São Paulo, Brasil. Pero también ha trabajado con una residencia de ancianos en Barcelona para ver cómo las reconstrucciones basadas en la memoria podrían ayudar a las personas mayores. El equipo colaboró con investigadores en Barcelona en un pequeño piloto con 12 sujetos, aplicando el enfoque a la terapia de reminiscencia, un tratamiento para la demencia que tiene como objetivo estimular las habilidades cognitivas mostrando a alguien imágenes del pasado. Desarrollada en la década de 1960, la terapia de reminiscencia tiene muchos defensores, pero los investigadores no se ponen de acuerdo sobre qué tan efectiva es y cómo debe hacerse.

El programa piloto permitió al equipo refinar el proceso y garantizar que los participantes pudieran dar su consentimiento informado, dice García. Los investigadores ahora planean realizar un estudio clínico más grande en el verano con colegas de la Universidad de Toronto para comparar el uso de modelos de imágenes generativas con otros enfoques terapéuticos.

Una cosa que descubrieron en el piloto fue que las personas mayores se conectaban mucho mejor con las imágenes si se imprimían. "Cuando los ven en una pantalla, no tienen el mismo tipo de relación emocional con ellos", dice García. "Pero cuando pudieron verlo físicamente, el recuerdo se volvió mucho más importante".

Lo borroso es lo mejor
Los investigadores también han descubierto que las versiones más antiguas de los modelos de imágenes generativas funcionan mejor que las más nuevas. Comenzaron el proyecto utilizando dos modelos que salieron en 2022: DALL-E 2 y Stable Diffusion, un modelo de imagen generativa de uso gratuito lanzado por Stability AI. Estos pueden producir imágenes con fallas, con caras deformadas y cuerpos retorcidos. Pero cuando cambiaron a la última versión de Midjourney (otro modelo de imagen generativa que puede crear imágenes más detalladas), los resultados no encajaron tan bien con la gente.
"Si haces algo súper realista, la gente se enfoca en detalles que no estaban allí", dice García. "Si está borroso, el concepto se percibe mejor. Los recuerdos son un poco como los sueños. No se comportan como fotografías, con detalles forenses. No recuerdas si la silla era roja o verde. Simplemente recuerdas que había una silla".

Desde entonces, el equipo ha vuelto a utilizar los modelos más antiguos. "Para nosotros, los fallos son una característica", dice García. "A veces las cosas pueden estar ahí y no estar. Es una especie de estado cuántico en las imágenes que funciona muy bien con los recuerdos".

Sam Lawton, un cineasta independiente que no está involucrado con el estudio, está entusiasmado con el proyecto. Está especialmente contento de que el equipo vaya a analizar los efectos cognitivos de estas imágenes en un riguroso estudio clínico. Lawton ha utilizado modelos de imágenes generativas para recrear sus propios recuerdos. En una película que hizo el año pasado, llamada Expanded Childhood, usó DALL-E para extender viejas fotos familiares más allá de sus fronteras, difuminando escenas reales de la infancia con otras surrealistas.

"El efecto que la exposición a este tipo de imágenes generadas tiene en el cerebro de una persona fue lo que me impulsó a hacer la película en primer lugar", dice Lawton. "No estaba en condiciones de lanzar un esfuerzo de investigación en toda regla, así que me decanté por el tipo de narración que es más natural para mí".

El trabajo de Lawton explora una serie de preguntas: ¿Qué tendrá en nosotros la exposición a largo plazo a imágenes generadas o alteradas por IA? ¿Pueden estas imágenes ayudar a replantear los recuerdos traumáticos? ¿O crean una falsa sensación de realidad que puede llevar a la confusión y a la disonancia cognitiva?

Lawton le mostró las imágenes de Expanded Childhood a su padre e incluyó sus comentarios en la película: "Algo anda mal. No sé qué es eso. ¿Es que no lo recuerdo?

García es consciente de los peligros de confundir los recuerdos subjetivos con los registros fotográficos reales. Las reconstrucciones basadas en la memoria de su equipo no están destinadas a ser tomadas como documentos fácticos, dice. De hecho, señala que esta es otra razón para quedarse con las imágenes menos fotorrealistas producidas por versiones anteriores de modelos de imágenes generativas. "Es importante diferenciar muy claramente lo que es memoria sintética y lo que es fotografía", dice García. "Esta es una forma sencilla de demostrarlo".

Pero a García ahora le preocupa que las compañías detrás de los modelos puedan retirar sus versiones anteriores. La mayoría de los usuarios esperan modelos más grandes y mejores; para las memorias sintéticas, menos puede ser más. "Tengo mucho miedo de que OpenAI cierre DALL-E 2 y tengamos que usar DALL-E 3", dice.