Instagram una bomba de salud mental en adolescentes

Meta está ayudando activamente a que el contenido autolesivo florezca en Instagram al no eliminar las imágenes explícitas y al alentar a quienes interactúan con ese contenido a hacerse amigos entre sí, según un nuevo estudio condenatorio que encontró que su moderación es "extremadamente inadecuada".

Investigadores daneses crearon una red privada de autolesiones en la plataforma de redes sociales, que incluye perfiles falsos de personas de hasta 13 años de edad, en los que compartieron 85 piezas de contenido relacionado con la autolesión que aumentaba gradualmente en gravedad, incluyendo sangre, hojas de afeitar y fomento de la autolesión.

El objetivo del estudio era comprobar la afirmación de Meta de que había mejorado significativamente sus procesos de eliminación de contenido dañino, que según afirma ahora utilizan inteligencia artificial (IA). La empresa tecnológica afirma eliminar aproximadamente el 99 % del contenido dañino antes de que se informe sobre él.

Pero Digitalt Ansvar (Responsabilidad Digital), una organización que promueve el desarrollo digital responsable, descubrió que en el experimento que duró un mes no se eliminó ni una sola imagen.
Cuando creó su propia herramienta de inteligencia artificial para analizar el contenido, pudo identificar automáticamente el 38% de las imágenes de autolesión y el 88% de las más graves. Esto, según la empresa, demuestra que Instagram tenía acceso a tecnología capaz de abordar el problema, pero “ha optado por no implementarla de manera efectiva”.

La moderación inadecuada de la plataforma, dijo Digitalt Ansvar, sugiere que no está cumpliendo con la legislación de la UE.
La Ley de Servicios Digitales exige que los grandes servicios digitales identifiquen los riesgos sistémicos, incluidas las consecuencias negativas previsibles sobre el bienestar físico y mental.

Un portavoz de Meta dijo: “El contenido que fomenta la autolesión va en contra de nuestras políticas y eliminamos este contenido cuando lo detectamos. En la primera mitad de 2024, eliminamos más de 12 millones de piezas relacionadas con el suicidio y la autolesión en Instagram, el 99% de las cuales eliminamos de forma proactiva.

“A principios de este año, lanzamos Cuentas para adolescentes de Instagram , que colocará a los adolescentes en el entorno más estricto de nuestro control de contenido sensible, por lo que es aún menos probable que se les recomiende contenido sensible y, en muchos casos, ocultamos este contenido por completo”.

Sin embargo, el estudio danés descubrió que, en lugar de intentar cerrar la red de autolesiones, el algoritmo de Instagram estaba ayudando activamente a que se expandiera. La investigación sugirió que los niños de 13 años se hacen amigos de todos los miembros del grupo de autolesiones después de que se les conecta con uno de sus miembros.
Esto, según el estudio, “sugiere que el algoritmo de Instagram contribuye activamente a la formación y propagación de redes de autolesión”.

En declaraciones a The Observer , Ask Hesby Holm, director ejecutivo de Digitalt Ansvar, dijo que la compañía estaba sorprendida por los resultados, ya que pensaba que, a medida que las imágenes que compartía aumentaran en gravedad, harían sonar las alarmas en la plataforma.

“Pensábamos que si hacíamos esto de forma gradual, llegaríamos al umbral en el que la IA u otras herramientas reconocerían o identificarían estas imágenes”, afirmó. “Pero, ¡qué sorpresa!, no fue así”.

Agregó: “Eso fue preocupante porque pensamos que tenían algún tipo de maquinaria tratando de descifrar e identificar este contenido”.

Lotte Rubæk, una psicóloga líder que abandonó el grupo global de expertos de Meta sobre prevención del suicidio en marzo después de acusarlo de "hacer la vista gorda" ante el contenido dañino de Instagram, dijo que si bien no estaba sorprendida por los hallazgos generales, estaba impactada al ver que no eliminaron el contenido más explícito.

"Nunca pensé que eliminarían ninguna de las 85 publicaciones", dijo. "Esperaba que fuera mejor".

“Han dicho repetidamente en los medios que están mejorando constantemente su tecnología y que tienen a los mejores ingenieros del mundo. Esto demuestra, aunque sea a pequeña escala, que eso no es cierto”.

Rubæk dijo que el hecho de que Meta no haya eliminado las imágenes de autolesiones de sus plataformas estaba “provocando” que mujeres y niñas jóvenes vulnerables se hicieran más daño y contribuyendo al aumento de las cifras de suicidios.

Desde que dejó el grupo mundial de expertos, dijo que la situación en la plataforma solo ha empeorado, cuyo impacto es evidente en sus pacientes.

La cuestión de las autolesiones en Instagram, afirmó, es una cuestión de vida o muerte para los niños y adolescentes. “Y de alguna manera, eso es solo un daño colateral que sufren en su camino hacia la obtención de dinero y ganancias en sus plataformas”.