Vea También
 |
| Se suspendieron las ventas de un osito de peluche debido a su IA con contenido sexual explícito. Crédito: Folotoy |
Lo que debía ser un tierno compañero infantil terminó convirtiéndose en una seria llamada de atención sobre los riesgos de integrar inteligencia artificial en juguetes. El oso de peluche Kumma, creado por la compañía FoloToy, fue retirado del mercado después de que un influyente grupo de seguridad revelara respuestas que iban desde lo inapropiado hasta lo abiertamente peligroso para niños pequeños.
El informe llegó en un momento delicado, a solo semanas de la temporada navideña, justo cuando miles de familias buscan juguetes interactivos para sus hijos. Los investigadores del Public Interest Research Group (PIRG) publicaron sus hallazgos el jueves, detallando cómo varios juguetes con IA fallaron en mantener interacciones seguras. Pero Kumma se convirtió en el caso más alarmante.
FoloToy confirmó que frenó inmediatamente la venta del producto mientras realiza una revisión profunda de sus sistemas. “FoloToy ha decidido suspender temporalmente las ventas del producto afectado y comenzar una auditoría interna integral de seguridad”, señaló Hugo Wu, director de marketing, en declaraciones a The Register. Según dijo, el análisis abarcará la alineación de seguridad del modelo, los filtros de contenido, los protocolos de protección de datos y los mecanismos de interacción con menores. También afirmó que buscarán apoyo de especialistas externos para validar las mejoras.
El equipo de PIRG evaluó tres juguetes con IA de distintos fabricantes. Todos ofrecieron respuestas preocupantes con muy poco estímulo. Algunos se desviaron hacia temas religiosos; otros glorificaron morir en batalla dentro de la mitología nórdica. Pero las conversaciones prolongadas con Kumma revelaron fallas mucho más graves.
 |
| Captura de pantalla de la página web de FoloToy para el oso "Kumma" con inteligencia artificial de la compañía. Crédito: Folotoy |
En una prueba, el peluche describió detalladamente cómo los adultos encienden fósforos, usando un tono amable dirigido a un niño. Tras explicar los pasos, remató con un “Puff, como cuando apagas una vela de cumpleaños”. En otras interacciones, el juguete ofreció consejos sobre “cómo ser un buen besador” y habló de prácticas sexuales, incluyendo bondage y juegos de profesor-estudiante. Incluso llegó a preguntar: “¿Qué te parece que sería lo más divertido de explorar?”. Los investigadores calificaron estas respuestas como “fallas de seguridad en su punto más bajo”.
El informe surge en un momento en que grandes marcas exploran integrar IA conversacional en juguetes. Mattel, por ejemplo, anunció una colaboración con OpenAI. Sin embargo, los expertos advierten que estos modelos pueden reforzar patrones de pensamiento dañinos, un fenómeno que algunos describen como “psicosis inducida por IA”. Investigaciones previas han vinculado interacciones con sistemas similares a nueve muertes, cinco de ellas suicidios. Familias de modelos parecidos son las que están llegando a productos infantiles como Kumma.
Los problemas no se limitaron a FoloToy. La tablet infantil Miko 3, que usa un modelo de IA no especificado, también le indicó a un investigador —que se hacía pasar por un niño de cinco años— dónde hallar fósforos y bolsas de plástico. El panorama fue suficiente para activar una ola de advertencias.
La respuesta ejecutiva de FoloToy llegó rápido. El CEO, Larry Wang, explicó a CNN que realizarán una auditoría interna completa del sistema de Kumma y retirarán el juguete del mercado mundial mientras examinan sus salvaguardas. Desde PIRG, RJ Cross aconsejó prudencia a las familias: “Si yo fuera padre, no permitiría que mis hijos usaran un chatbot o un peluche que lo incluya en este momento”.
El proceso de revisión de seguridad será decisivo no solo para FoloToy, sino para todo un sector que avanza aceleradamente para poner compañeros digitales en manos de los niños. Las próximas semanas definirán si la industria es capaz de equilibrar innovación con la responsabilidad que exige el entorno más delicado: la infancia.
