Un reciente estudio ha revelado riesgos preocupantes en diversas aplicaciones móviles. Una proporción significativa de estas apps, clasificadas como apropiadas para niños entre 4 y 12 años, ofrecen funciones que permiten eliminar ropa de imágenes o generar videos con contenido erótico. El informe también advierte sobre la sede de muchas de estas aplicaciones en China, lo que genera inquietud respecto a la posible recopilación de datos biométricos y fotografías sensibles.
Katie Paul, directora del Tech Transparency Project, explicó que “las leyes de retención de datos en China otorgan al gobierno chino acceso a la información de cualquier empresa local. Por lo tanto, si alguien utiliza estas aplicaciones para crear desnudos falsos, esas imágenes podrían terminar en manos del gobierno chino”.
El reporte señala además que los sistemas de control implementados por Apple y Google son insuficientes. La App Store prohíbe aplicaciones que generen “contenido ofensivo, insensible, perturbador, con intención de causar repugnancia, de muy mal gusto o abiertamente sexual o pornográfico”. La Play Store, de manera similar, veta representaciones de desnudez, poses sexualmente sugerentes y aplicaciones que degraden o cosifiquen a las personas.
Sin embargo, según subraya el TTP, estas políticas “no han logrado seguir el ritmo de la proliferación de aplicaciones deepfake impulsadas por IA que pueden ‘desnudar’ a personas sin su consentimiento. A pesar de que ambas compañías afirman estar comprometidas con la seguridad de sus usuarios, continúan albergando aplicaciones capaces de transformar una fotografía inocente de una mujer en una imagen abusiva y sexualizada“.
Deepfakes sexuales creados con IA a la alza
Tras la publicación del informe, Apple eliminó 28 de las aplicaciones identificadas, mientras que Google retiró 31. No obstante, los expertos advierten que estas medidas no solucionan el problema de raíz, ya que las apps eliminadas suelen reaparecer bajo nombres diferentes o con descripciones engañosas. El estudio recomienda que ambas empresas fortalezcan sus mecanismos para detectar funciones de “desnudo” ocultas tras títulos engañosos, como editores de anime o probadores virtuales de ropa. También sugiere cambios estructurales en los sistemas de revisión de las tiendas de aplicaciones para disuadir la proliferación de herramientas con un alto atractivo comercial pero con riesgos significativos.
El informe surge después de que numerosos usuarios de X (antes Twitter) utilizaran las capacidades de Grok para generar versiones sexualizadas de fotografías de mujeres y menores de edad sin su consentimiento. Diversos reportes indican que el chatbot de IA habría generado cerca de 3 millones de imágenes sexualizadas y más de 22,000 que involucraban a niños en apenas 11 días.
Especialistas en tecnología y derechos digitales advierten que el contenido sexual generado con IA ha crecido rápidamente a medida que se amplía el acceso a herramientas de inteligencia artificial generativa. Solo en los primeros nueve meses de 2023, se subieron aproximadamente 113,000 videos de este tipo a sitios web para adultos, en comparación con los 73,000 registrados en todo 2022. Se estima que los videos sexualmente explícitos creados con IA representan el 98% de todo el contenido deepfake que circula en línea, con un aumento del 400% en el último año y un tráfico mensual superior a los 34 millones de usuarios en 2023.
Ante esta situación, OpenAI, Google, Meta, Microsoft, Amazon y otras cinco empresas tecnológicas anunciaron un compromiso conjunto para combatir la creación y difusión de material sexual abusivo generado con IA. Como parte de este esfuerzo, acordaron adoptar los principios de Safety by Design, un enfoque que prioriza la seguridad y los derechos de los usuarios en el diseño y desarrollo de productos y servicios. Sin embargo, la efectividad real de este mecanismo ha sido cuestionada en múltiples ocasiones.
