Los padres están haciendo sonar la alarma sobre los videos sexuales y violentos generados por IA que, según dicen, YouTube recomienda a sus hijos.
Mamá Liz Guilar le dijo al Daily Mail que se vio «inundada» con contenido aterrador después de crear una cuenta para sus hijos de uno y tres años.
Ella dijo: «Las imágenes pueden ser espantosas, con caras derritiéndose, extremidades que desaparecen y monstruos creados inadvertidamente que rivalizarían con Silent Hill, excepto que son los niños pequeños los que miran si sus padres dependen de YouTube para la curación de contenidos. Es realmente extraño.
Según el experto en inteligencia artificial Jeremy Carrasco, es poco probable que Guilar esté solo en su experimento y YouTube podría recomendar rutinariamente contenido horrible generado por inteligencia artificial a los niños.
Realizó un experimento que, según él, muestra que los clips perturbadores son entregados por algoritmos típicamente dirigidos a niños.
Estos incluyen videos que muestran representaciones caricaturescas de abuso infantil, así como personajes de IA que se someten a cirugías grotescas, blanden armas, cometen actos de violencia o participan en comportamientos sexuales.
Carrasco dijo que llegó a su conclusión creando una cuenta falsa y simulando los hábitos de transmisión de un niño en YouTube para probar qué tipos de videos serían recomendados.
Le dijo al Daily Mail: «YouTube se dio cuenta de que era un niño interesado en Bluey o Roblox y aún así los sugería en la página de inicio. Incluso las miniaturas en la página de inicio eran sorprendentemente horribles a veces.
El productor de videos y consultor de inteligencia artificial Jeremy Carrasco dijo que creó una cuenta haciéndose pasar por un niño para ver qué tipo de contenido le ofrecían.
Los inquietantes videos de IA en YouTube a menudo incluyen personajes de animales humanoides. En este vídeo, una madre gata asfixia a su bebé con una almohada antes de arrojarlo por un acantilado.
Afirmó que la página de inicio recomendaba claramente contenido perturbador generado por IA desde el canal de cortos de YouTube del sitio, desde canales con nombres como «MeowBoom» y «MeowKitten007».
YouTube le dijo al Daily Mail que ninguno de los videos marcados por el experimento de Carrasco apareció en la aplicación YouTube Kids, pero desactivó varios canales destacados por el medio después de descubrir que violaban las pautas de la comunidad.
Jack Malon, portavoz de la plataforma, dijo al Daily Mail: «Para ser claros, este contenido no está en la aplicación YouTube Kids. Los padres controlan lo que ven sus hijos en YouTube y deben elegir un nivel de restricción de contenido específico para la cuenta de su hijo durante la configuración.
Carrasco dijo que incluso si estos inquietantes videos de IA no aparecen en la aplicación YouTube Kids, la versión estándar de la plataforma debería poder saber si un niño está mirando en función del contenido que consume.
«Creo que deberían poder, con algunas herramientas de edad, determinar: ‘Oh, oye, tenemos un niño de siete años mirando, probablemente no deberíamos poner cortometrajes en la página de inicio porque sabemos que es lo más saludable'», dijo.
«Ya tienen las herramientas para hacerlo. Podrían hacerlo mañana. Ni siquiera estoy sugiriendo que bloqueen a estos usuarios para que no vean vídeos cortos si los buscan. No les impongan algorítmicamente las tonterías más dañinas.
Los canales de cortos generados por IA comenzaron a aparecer a finales del año pasado a medida que la tecnología se volvió más sofisticada.
En este vídeo de IA, una madre enojada con cara de oveja golpea a un gato con un murciélago y le vierte lo que parece alquitrán.
Desde entonces, docenas de canales han aprovechado videos de IA fáciles de hacer que presentan temas violentos, perturbadores y sexuales.
«Mi reacción inmediata fue pensar en lo aterrador que sería si mis hijos vieran solos», dijo Guilar al Daily Mail.
«No creo que los niños pequeños tengan la capacidad de procesar lo que ven de la misma manera que los adultos, por lo que lo que para nosotros es un fracaso hilarante de la IA podría potencialmente confundirlos, asustarlos o incluso normalizar temas inquietantes».
Guilar publicó una publicación en Reddit a principios de este año, diciendo que estaba «realmente horrorizada al descubrir cuánta basura de IA que derrite el cerebro hay, cosas simplemente horribles».
En el hilo, decenas de padres compartieron experiencias similares a las de la madre australiana y lamentaron la naturaleza dañina y perturbadora del contenido que encontraron.
Un padre escribió: “Hace poco fui a una peluquera que tiene un estudio privado y ella trajo a su hija de 4 o 5 años porque cancelaron la escuela debido al clima y no me importó.
«Pero luego puso YouTube en la televisión y pasó de canciones y videos educativos a las tonterías más extrañas de inteligencia artificial que he visto en mi vida tan rápidamente».
Otro padre dijo: «Algunos de ellos son realmente extraños. Me hubiera gustado tomar capturas de pantalla de parte del combustible de pesadilla que bloqueé».
Los vídeos de IA también pueden incluir personajes humanos. En él, una madre aterrorizada arroja a su bebé por la ventana de un avión que se estrella.
Liz Guilar quedó “horrorizada” por los inquietantes videos generados por IA que encontró en YouTube después de revisar una cuenta que creó para sus hijos.
Guilar también dijo que era “aterrador” imaginar a sus hijos viendo los videos de IA que encontró.
Este grotesco vídeo que presenta una versión generada por inteligencia artificial del famoso futbolista Ronaldo tuvo un desempeño particularmente bueno y recibió más de 200.000 me gusta.
Andrew Koepp, psicólogo del desarrollo y profesor asistente de psicología aplicada en la Universidad de Nueva York, comentó al Daily Mail sobre el daño que este tipo de contenido podría tener en los niños.
Dijo que las características superficiales de los «videos» están claramente diseñadas para atraer a los niños con colores brillantes y personajes exagerados parecidos a dibujos animados… Sin embargo, el contenido es claramente muy inapropiado para los niños.
“Antes de los ocho años, los niños tienen dificultades para distinguir entre ficción y realidad”, dijo Koepp, y agregó que los videos que le envió el Daily Mail para su revisión “abordan el abandono y la amputación de extremidades, temas que merecen mucha sensibilidad”.
La controversia sigue al escándalo «Elsagate» de YouTube de finales de la década de 2010, en el que los creadores utilizaron imágenes de personajes infantiles, como Elsa o Spiderman de Frozen, para escenificar historias inapropiadas con temas violentos y sexuales.
Los videos tuvieron un buen desempeño porque sus creadores pusieron los nombres de los personajes en el título y las etiquetas, lo que llevó al algoritmo a promocionarlos entre los niños.
El Dr. Kostantinos Papadamou, informático e investigador, estudió el fenómeno Elsagate y publicó un artículo al respecto en 2020.
El abuso físico infantil es un tema común en estos videos generados por IA
Algunos vídeos contienen sangre e imágenes inquietantes de heridas.
El problema actual con los videos disruptivos de IA es la última versión de un problema anterior de YouTube que recomienda videos inapropiados a los niños. Estas capturas de pantalla son de vídeos que formaron parte de la controversia «Elsagate» de finales de la década de 2010.
En el estudiarél y su equipo simularon el comportamiento de un niño en YouTube y descubrieron que había un «3,5% de probabilidad de que un niño pequeño que seguía las recomendaciones de YouTube encontrara un video inapropiado dentro de diez (clics) si comenzaba con un video que aparecía entre los diez primeros resultados de una búsqueda aleatoria de palabras clave para niños pequeños». »
YouTube ha realizado cambios en la plataforma en un intento de resolver el problema de Elsagate.
Agregó una función que requería que cualquiera que publicara en el sitio web hiciera clic en un cuadro que indicaba si el video estaba dirigido a niños, lo que ayudó a aliviar el problema.
Papadamou trazó vínculos entre Elsagate y el problema actual del contenido inapropiado de IA, y le dijo al Daily Mail que le preocupaba lo fácil que era crear estos nuevos videos perturbadores de IA.
“El problema era bastante grande en 2020 con el volumen de videos que teníamos antes, y no podían seguir el ritmo porque la mayoría de las métricas estaban vinculadas (sic) a un humano”, dijo.
«Puedes imaginar cómo estas métricas no pueden mantenerse al día con el volumen actual».
