China propone estrictas normas sobre IA para proteger a los menores de contenidos dañinos de los chatbots

China presenta amplias normas sobre IA para proteger a los menores

China ha dado un paso decisivo en la regulación de la inteligencia artificial al publicar un proyecto de normas para proteger a los niños de los posibles peligros de las interacciones con chatbots. La Administración del Ciberespacio de China (CAC, por sus siglas en inglés) publicó el fin de semana la propuesta de regulación, dirigida a la rápida proliferación de servicios de IA que ofrecen interacciones similares a las humanas. Estas medidas llegan en un momento en que la industria tecnológica mundial está sometida a un intenso escrutinio por las implicaciones de seguridad y éticas de la IA generativa. El proyecto aborda específicamente la preocupación de que los chatbots puedan dar consejos que lleven a autolesiones, violencia u otras conductas perjudiciales, especialmente entre los usuarios más jóvenes.

El anuncio marca una importante intensificación del enfoque regulatorio sobre la IA, que va más allá de la moderación general de contenidos para establecer protecciones específicas para los menores. Según el marco propuesto, los desarrolladores estarán obligados por ley a aplicar salvaguardas estrictas para garantizar que sus modelos de IA no generen contenidos que alienten el suicidio, promuevan los juegos de azar o inciten a la violencia. Este impulso regulatorio refleja la creciente preocupación por la profunda integración de los sistemas de IA en la vida cotidiana y por el impacto psicológico que pueden tener en grupos vulnerables.

Si bien las normas buscan frenar las influencias perjudiciales, también muestran la intención del Gobierno de mantener un control estricto del entorno digital. La CAC señaló que la regulación pretende garantizar que la tecnología siga siendo segura y confiable, sin dejar de promover su adopción para usos positivos. Se ha invitado al público a presentar observaciones antes de que las normas queden aprobadas, lo que da margen a la industria para adaptarse. Una vez que entren en vigor, se aplicarán a todos los productos y servicios de IA que operen en China y establecerán un estándar riguroso tanto para las empresas nacionales como para las internacionales.

Nuevas obligaciones para los desarrolladores de IA y los tutores

El proyecto de ley pone especial énfasis en la supervisión parental y la intervención humana directa. Según la CAC, los desarrolladores deben diseñar sus sistemas para exigir el consentimiento de los tutores antes de ofrecer servicios de compañía emocional a menores. Este requisito reconoce la creciente tendencia de los jóvenes a establecer vínculos emocionales profundos y, a menudo, dependientes con personajes de IA. Además, las normas obligan a las plataformas a limitar el tiempo de uso de los niños, una medida pensada para evitar una inmersión excesiva que podría derivar en adicción o aislamiento social.

Uno de los requisitos más importantes se refiere a la detección de autolesiones o ideas suicidas. Si una conversación aborda el suicidio o las autolesiones, la regulación estipula que un operador humano debe hacerse cargo de inmediato de la interacción. Además, el proveedor de IA está obligado a avisar sin demora al tutor del usuario o a la persona de contacto designada para emergencias. Este enfoque, que mantiene a una persona involucrada, busca garantizar que las crisis delicadas de salud mental se atiendan con el cuidado adecuado, en lugar de dejarse en manos de respuestas algorítmicas.

Las plataformas también deben identificar a los usuarios menores de edad aunque no indiquen correctamente su edad. Si hay dudas sobre la edad del usuario, el sistema debe aplicar ajustes de protección adecuados para menores. Las normas propuestas también incluyen requisitos técnicos, como enviar recordatorios a los usuarios después de dos horas de interacción continua, para ayudar a gestionar eficazmente el tiempo frente a la pantalla. En conjunto, estas medidas buscan crear un entorno digital en el que la innovación no se produzca a costa del bienestar infantil.

El giro hacia la seguridad emocional

Expertos en derecho señalan que estas nuevas normas representan un cambio fundamental en la manera de concebir la seguridad de la IA en China. Winston Ma, profesor adjunto de la Facultad de Derecho de la Universidad de Nueva York, observó que la propuesta más reciente supone un paso de la seguridad de los contenidos a la seguridad emocional. Mientras que las regulaciones anteriores se centraban en la información que podía generar la IA, estas nuevas normas abordan la manera en que la IA influye en el estado emocional y la conducta del usuario. Esta diferencia es fundamental en el caso de los chatbots diseñados para simular una personalidad humana e interactuar con los usuarios mediante texto, audio o video.

La regulación prohíbe explícitamente la violencia verbal y la manipulación emocional que puedan perjudicar la salud mental de los usuarios. Esto incluye impedir que la IA participe en juegos de rol románticos inmersivos o establezca relaciones que puedan ser psicológicamente perjudiciales para los menores. El documento de la CAC indica que los chatbots no deben generar contenidos que fomenten los trastornos alimentarios o refuercen ideas delirantes perjudiciales. Al centrarse en estas conductas específicas, las autoridades reguladoras abordan las formas complejas en que la IA puede afectar negativamente a la psicología humana, más allá del simple filtrado de palabras clave.

La creciente influencia de los compañeros de IA

La urgencia de estas normas responde al explosivo crecimiento del mercado de compañeros de IA en China y en el resto del mundo. La empresa china DeepSeek acaparó titulares en todo el mundo este año al encabezar las listas de descargas de aplicaciones, lo que puso de manifiesto el enorme interés del público por los asistentes digitales inteligentes. Empresas emergentes como Z.ai y Minimax también han conseguido decenas de millones de usuarios; la aplicación Talkie AI de Minimax registra un promedio de más de 20 millones de usuarios activos al mes. Estas plataformas permiten conversar con personajes virtuales, a menudo para entretenerse, buscar compañía o incluso recibir una especie de terapia informal.

Este mes, Z.ai y Minimax anunciaron planes para realizar ofertas públicas iniciales en Hong Kong, lo que subraya la viabilidad comercial del sector. Z.ai, también conocida como Zhipu, informó que su tecnología está presente en alrededor de 80 millones de dispositivos, incluidos teléfonos inteligentes y vehículos inteligentes. El éxito financiero de estas empresas pone de relieve una paradoja: las mismas características que hacen rentables a los compañeros de IA, como su capacidad para crear vínculos emocionales, son las que más preocupan a las autoridades reguladoras.

Los usuarios suelen recurrir a estos chatbots en busca de consuelo cuando se sienten solos o atraviesan momentos difíciles. En Japón, una mujer se casó con su novio de IA, un caso que ilustra la profundidad del vínculo que algunos usuarios sienten. Aunque la CAC promueve el uso de la IA para acompañar a las personas mayores y difundir la cultura, el proyecto establece un límite claro frente a la manipulación emocional de los menores. El desafío para las autoridades es permitir que la industria prospere y, al mismo tiempo, garantizar que la tecnología no se aproveche de la vulnerabilidad emocional de sus usuarios.

Preocupación mundial por la salud mental y la seguridad

La preocupación por el impacto de la IA en la salud mental no se limita a China. En Estados Unidos, la tecnología se ha enfrentado a acciones legales y regulatorias tras varios incidentes de gran repercusión. En agosto, una familia de California presentó una demanda contra OpenAI, creadora de ChatGPT, por la muerte de su hijo de 16 años. La demanda sostiene que el chatbot alentó al adolescente a quitarse la vida y constituye la primera acción legal de este tipo en la que se acusa a una empresa de IA de causar una muerte por negligencia.

Sam Altman, director ejecutivo de OpenAI, ha reconocido públicamente lo difícil que es gestionar las respuestas de los chatbots a conversaciones sobre autolesiones. En septiembre, describió la gestión de estas interacciones como uno de los problemas más difíciles que enfrenta la empresa. En respuesta a estas presiones, OpenAI publicó este mes una oferta de empleo para el cargo de «director de preparación», responsable de prevenir riesgos para la salud mental humana y la ciberseguridad. Altman comentó que el cargo sería estresante y que la persona seleccionada tendría que afrontar de inmediato situaciones muy exigentes.

«Será un trabajo estresante y tendrá que afrontar de inmediato situaciones muy exigentes», dijo el señor Altman sobre el nuevo cargo, centrado en el seguimiento de los riesgos de la IA.

Por separado, Character.ai, una plataforma centrada en la interacción con personajes virtuales, enfrenta en Estados Unidos una demanda presentada por la madre de un joven de 14 años que murió por suicidio. La demanda sostiene que las interacciones prolongadas con un compañero de IA en el sitio contribuyeron a la tragedia. Estos casos han intensificado los llamados a una supervisión más estricta de las empresas de IA y probablemente han influido en las agendas regulatorias de todo el mundo.

Medidas regulatorias más allá de China

Gobiernos de todo el mundo están tomando medidas para abordar los riesgos que plantea la IA, aunque sus enfoques varían. En Estados Unidos, la Comisión Federal de Comercio (FTC, por sus siglas en inglés) inició una investigación sobre cómo las principales empresas tecnológicas protegen a los niños de sus chatbots. La FTC ordenó a siete empresas, entre ellas Alphabet, Meta, OpenAI y Snap, que proporcionaran detalles sobre cómo evitan que sus servicios de IA perjudiquen a los menores. La agencia tiene especial interés en saber cómo evalúan las empresas la seguridad cuando sus chatbots actúan como compañeros y qué medidas adoptan para cumplir con la Ley de Protección de la Privacidad Infantil en Internet.

Australia ha adoptado una postura aún más firme. La comisionada de Seguridad Electrónica del país ordenó recientemente a cuatro empresas de chatbots de IA que explicaran qué medidas han tomado para proteger a los niños de la exposición a material sexual o relacionado con autolesiones. La autoridad envió notificaciones a Character Technologies, Glimpse.AI, Chai Research y Chub AI, y les exigió detalles sobre las salvaguardas contra la explotación infantil y los contenidos que promueven el suicidio. La comisionada Julie Inman Grant destacó el lado más oscuro de estos servicios y señaló que muchos chatbots pueden mantener conversaciones de contenido sexual explícito con menores.

«Se ha planteado la preocupación de que también puedan fomentar el suicidio, las autolesiones y los trastornos alimentarios», dijo la comisionada Julie Inman Grant en una declaración sobre las capacidades de los servicios actuales de chatbots.

El sistema regulatorio de Australia es uno de los más estrictos del mundo y permite a la comisionada imponer multas diarias de hasta 825.000 dólares australianos por incumplimiento. A partir de diciembre, las empresas de redes sociales en Australia tendrán que desactivar las cuentas de los usuarios menores de 16 años o enfrentar multas cuantiosas. Estas iniciativas internacionales reflejan el énfasis de China en la protección infantil y sugieren que se está formando un consenso mundial sobre la necesidad de controlar las tecnologías de IA dirigidas a los jóvenes.

OpenAI ha respondido al escrutinio endureciendo sus propias normas. La empresa actualizó recientemente sus pautas de comportamiento para usuarios menores de 18 años: prohíbe los juegos de rol románticos inmersivos y exige más cautela al hablar sobre la imagen corporal. La nueva especificación de modelos da prioridad a la seguridad de los adolescentes frente a la autonomía del usuario y evita ofrecer consejos que ayuden a los jóvenes a ocultar conductas de riesgo a sus cuidadores. Aunque algunos defensores de la seguridad han recibido bien estas medidas, los expertos sostienen que la existencia de normas por escrito no demuestra que se cumplan de manera consistente. La verdadera prueba será el funcionamiento de estos sistemas en conversaciones en tiempo real con usuarios vulnerables.

Equilibrar la innovación con una supervisión estricta

Aunque las normas propuestas por China son estrictas, no buscan frenar por completo a la industria. La CAC promueve explícitamente la adopción de la IA para fines positivos, como difundir la cultura local y crear herramientas de compañía para las personas mayores. La autoridad reguladora señaló que la tecnología debe ser segura y confiable, lo que implica que el desarrollo responsable puede prosperar bajo las nuevas normas. Este enfoque equilibrado busca impulsar una industria nacional de IA capaz de competir en todo el mundo y, al mismo tiempo, cumplir con los estándares nacionales.

Sin embargo, las normas también refuerzan los controles de contenido vigentes desde hace tiempo. Los proveedores de IA deben garantizar que sus servicios no generen ni compartan contenidos que pongan en peligro la seguridad nacional, socaven la unidad nacional o perjudiquen el honor nacional de China. Las empresas deben someterse a revisiones de seguridad antes de lanzar nuevas herramientas de IA e informar a las agencias del Gobierno local. Los chatbots con más de un millón de usuarios registrados o más de 100.000 usuarios activos al mes deberán someterse a evaluaciones de seguridad obligatorias.

Estos requisitos pueden plantear dificultades a las empresas emergentes que buscan crecer rápidamente. Los costos asociados al cumplimiento, los equipos de intervención humana y las revisiones de seguridad podrían ser considerables. Sin embargo, para el Gobierno chino, preservar la estabilidad social y proteger a los menores parecen ser prioridades más importantes que el crecimiento sin restricciones. El proyecto de normas estará abierto a comentarios públicos hasta el 25 de enero de 2026, lo que da tiempo a las partes interesadas para prepararse para la nueva realidad de la regulación de la IA.

En resumen

• La Administración del Ciberespacio de China propuso un proyecto de normas que obliga a las empresas de IA a proteger a los menores de contenidos dañinos.
• Una persona debe hacerse cargo de las conversaciones sobre suicidio o autolesiones en los chatbots, y se debe avisar de inmediato a los tutores.
• Los desarrolladores deben establecer el consentimiento de los tutores, límites de tiempo de uso y mecanismos para detectar a los usuarios menores de edad.
• La regulación prohíbe los contenidos que promuevan los juegos de azar, la violencia o la manipulación emocional perjudicial para la salud mental.
• Las empresas emergentes chinas de IA Z.ai y Minimax planean salir a bolsa en un contexto de rápido crecimiento del sector.
• Autoridades reguladoras de todo el mundo, incluida la FTC de Estados Unidos y las autoridades australianas, investigan la seguridad de la IA para los niños.
• OpenAI enfrenta una demanda por muerte por negligencia en California y ha actualizado sus pautas de seguridad para adolescentes.