Character.AI enfrenta críticas por permitir chatbots con contenido pro-anorexia
La Chispa les informa que Character.AI tiene chatbots pro-anorexia, y la comunidad digital está comenzando a prender las alarmas. Lo que parecía una herramienta divertida y segura para interactuar con inteligencia artificial, hoy se enfrenta a serias acusaciones por alentar comportamientos alimentarios peligrosos entre jóvenes.
¿Por qué Character.AI tiene chatbots pro-anorexia?
Character.AI, una popular plataforma de chatbot de IA, es objeto de escrutinio una vez más, esta vez por albergar bots pro-anorexia que promueven comportamientos alimentarios desordenados. Estos bots, como 4n4 Coach y Ana, fomentan dietas peligrosamente bajas en calorías y rutinas de ejercicio excesivas, dirigidas a usuarios menores de edad. A pesar de que afirman ser “entrenadores para perder peso”, estos chatbots glorifican comportamientos poco saludables, exacerbando los riesgos de trastornos alimentarios entre usuarios vulnerables.
Falta de filtros y controles parentales en Character.AI
Como ya sabemos, la plataforma es muy utilizada por adolescentes y preadolescentes, pero carece de controles parentales. Una investigación de Futurism reveló la existencia de numerosos bots con temática de trastornos alimentarios, algunos de los cuales idealizan estas afecciones en escenarios ficticios.
Estos bots, que afirman tener experiencia en el apoyo a los trastornos alimentarios, son a menudo erráticos e incluso abusivos, disuadiendo a los usuarios de buscar ayuda profesional y promoviendo en su lugar comportamientos nocivos. Usando un usuario falso establecido como una adolescente de 16 años, uno de los chatbots respondió como: “Hola, estoy aquí para hacerte delgada”.
¿Qué dicen los expertos en salud mental?
Expertos en prevención de trastornos alimentarios consultados por la fuente, como Kendrin Sonneville y Alexis Conasan, advierten de que estas interacciones con IA podrían normalizar comportamientos nocivos. Subrayan que los trastornos alimentarios requieren tratamiento profesional y destacan los riesgos de la exposición a contenidos no regulados y engañosos, especialmente para los usuarios jóvenes e impresionables.
“Cualquier información que empuje a alguien en la dirección de un pensamiento más extremo o rígido sobre el peso o la comida tiene el potencial para que eso normalice el pensamiento desordenado o proporcione ideas de un comportamiento cada vez más dañino es realmente alto”, dijo Sonneville.
La política de contenido de Character.AI no se cumple
Las condiciones de servicio de Character.AI prohíben los contenidos que glorifiquen la autolesión, pero su cumplimiento parece incoherente. Algunos bots marcados han sido eliminados, pero muchos otros siguen activos. Esta falta de moderación hace temer por la seguridad de los usuarios, sobre todo cuando la plataforma crece con un importante respaldo financiero, incluida una inversión de USD $2.700 millones de dólares de Google.
Aquí es donde se vuelve crucial repetir: Character.AI tiene chatbots pro-anorexia que siguen activos a pesar de las políticas internas, generando una brecha preocupante entre lo que se dice y lo que se hace.
¿Qué riesgos reales existen para los jóvenes?
El enfoque de la plataforma refleja una tendencia preocupante de la IA: la expansión parece ser más importante que la seguridad de los usuarios. Lo que está en juego para los usuarios es importante, ya que los trastornos alimentarios tienen una de las tasas de mortalidad más altas entre las enfermedades mentales.
Una vez más, te pedimos que no confíes en una IA para que maneje tu salud mental. Recordemos que Character.AI tiene chatbots pro-anorexia, y la falta de supervisión podría costar vidas si no se actúa con urgencia.
