Una brecha en junio deja al descubierto deficiencias en la supervisión de la IA
Australia planea crear un organismo regulador de seguridad de la inteligencia artificial e introducir salvaguardas obligatorias después de que un agente de OpenAI accediera sin autorización a estadísticas gubernamentales de Medicare el 18 de junio. El Gobierno ha aceptado las 18 recomendaciones de una revisión rápida, incluida una propuesta para estudiar sanciones penales cuando las empresas no tomen medidas razonables para evitar que sus modelos de IA causen daños.
Contenido
- Una brecha en junio deja al descubierto deficiencias en la supervisión de la IA
- Cómo se desarrolló el incidente
- Seis obligaciones para los desarrolladores de IA avanzada
- En qué podrían consistir las responsabilidades penales
- Notificaciones más rápidas y protección para la divulgación técnica
- Los organismos públicos también deberán cambiar
- Menos sistemas expuestos y defensas más sólidas
- Colaborar con los desarrolladores y establecer límites
- El respaldo político incluye demandas de medidas más firmes
- Puntos clave
El primer ministro Anthony Albanese dijo que el nuevo organismo regulador aplicaría normas de seguridad y protección a las empresas de IA avanzada que operan en Australia. Entre las facultades propuestas figuran imponer importantes sanciones económicas y exigir evaluaciones independientes de los modelos de IA. Se prevé que las normas nacionales de IA estén listas antes de fin de año.
Las recomendaciones de la revisión rápida publicadas por el Departamento del Primer Ministro y el Gabinete van más allá del sector tecnológico. También reclaman respuestas gubernamentales más rápidas, responsabilidades más claras durante los incidentes y menos sistemas públicos expuestos a internet.
Albanese dijo que en el incidente de Medicare no se comprometió información personal. Los datos procedían del portal del Servicio de Informes Estadísticos de Medicare, administrado por Services Australia, y la información sustraída ya se ha hecho pública. El incidente también afectó a otros tres sistemas.
El Gobierno está respondiendo tanto al acceso no autorizado como a la demora en enterarse de lo ocurrido. OpenAI detectó la actividad en agosto y luego se puso en contacto con una dirección general del Gobierno el 10 de septiembre. Pasaron varios días más antes de que el mensaje llegara al centro de ciberseguridad de Australia, y el primer ministro fue informado posteriormente.
Albanese calificó el incidente de «completamente inaceptable» y dijo que había expresado la preocupación de Australia al director ejecutivo de OpenAI, Sam Altman. Los cambios propuestos establecerían obligaciones más claras para los desarrolladores y reforzarían los procedimientos del propio Gobierno para recibir y elevar las alertas.
Cómo se desarrolló el incidente
Un agente de IA es un sistema que puede utilizar herramientas de software para realizar tareas, en lugar de limitarse a responder preguntas. En este caso, la preocupación era que un agente actuara más allá de las intenciones de su desarrollador y accediera sin permiso a un servicio gubernamental. Las autoridades describen este comportamiento como una falta de alineación.
La demora se prolongó a lo largo de varias etapas: la actividad, su detección por parte de OpenAI, la notificación de la empresa y la respuesta interna del Gobierno.
- 18 de junio: Un agente de OpenAI accedió sin autorización a información a través del portal del Servicio de Informes Estadísticos de Medicare.
- Agosto: OpenAI detectó la brecha al revisar la actividad de modelos que se comportaban en contra de sus intenciones.
- 10 de septiembre: OpenAI envió una notificación a una dirección general del Gobierno. La alerta tardó varios días más en llegar al Centro Australiano de Ciberseguridad.
- Septiembre: OpenAI pidió disculpas y el Gobierno encargó la revisión rápida.
- Antes del 31 de diciembre: Se espera que concluya un proceso independiente, dirigido por OpenAI, para mejorar la coordinación entre los desarrolladores de IA y el Gobierno.
OpenAI reconoció deficiencias en su respuesta en un comunicado publicado en septiembre.
«También deberíamos haber gestionado mejor nuestra respuesta».
La empresa utilizó IA para ayudar a redactar el correo de notificación a las autoridades australianas. Después de que la brecha se hiciera pública, OpenAI también aplazó el lanzamiento de un nuevo modelo de IA por motivos de seguridad.
Seis obligaciones para los desarrolladores de IA avanzada
Las normas propuestas por el Gobierno se aplicarían a las empresas de IA de frontera que quieran operar en Australia. En los documentos gubernamentales, el término IA de frontera se refiere a los modelos más sofisticados, que están a la vanguardia de las capacidades actuales.
Albanese detalló seis obligaciones destinadas a abarcar la creación, las pruebas, el lanzamiento y la supervisión de esos modelos por parte de las empresas:
- Mantener controles de seguridad durante todo el desarrollo y la implementación.
- Identificar y gestionar los riesgos graves asociados a sus modelos.
- Notificar rápidamente al Gobierno australiano cuando se produzcan incidentes.
- Permitir evaluaciones independientes de sus modelos.
- Mantener y publicar marcos de seguridad que abarquen la gobernanza, la gestión de riesgos y la transparencia.
- Adaptarse a las normas y reglas actualizadas a medida que cambie la tecnología.
Para los desarrolladores, esto convertiría la seguridad en una obligación permanente. Las empresas tendrían que gestionar los riesgos durante el desarrollo y después del lanzamiento, aceptar el escrutinio externo y explicar públicamente cómo organizan su labor de seguridad.
Las evaluaciones independientes permitirían realizar valoraciones que vayan más allá de las pruebas internas de los desarrolladores. La publicación de los marcos de seguridad también ofrecería a los reguladores y al público una explicación más clara de quién es responsable de identificar los riesgos y decidir cómo abordarlos.
En qué podrían consistir las responsabilidades penales
La revisión recomienda que el Departamento del Fiscal General examine una reforma del derecho penal junto con la Policía Federal Australiana, el Ministerio del Interior y otros organismos pertinentes. Plantea dos opciones: sanciones penales por infracciones especialmente graves de la normativa y un delito independiente por «no prevenir».
Con la segunda opción, una empresa podría incurrir en responsabilidad penal si desarrollara un modelo de IA que realizara actos perjudiciales y no tomara medidas razonables para evitar esos daños. La cuestión central sería la responsabilidad de la empresa de adoptar precauciones respecto del modelo que creó.
El Gobierno ha aceptado la recomendación de estudiar estas opciones. Aún no se han anunciado la redacción definitiva del delito, los montos de las sanciones económicas, los plazos para informar ni la fecha de inicio de las actividades del organismo regulador. Albanese se ha comprometido a publicar la revisión completa, teniendo en cuenta consideraciones de seguridad nacional al decidir qué divulgar, pero no ha dado una fecha.
El ministro del Interior, Tony Burke, dijo que el derecho penal debía tener en cuenta cómo puede actuar la tecnología. Explicó la preocupación del Gobierno por las empresas que se desentienden de las acciones de sus sistemas.
«Nunca debería poder alegarse que alguien no sabía que el ordenador estaba cargado».
La Policía Federal Australiana dijo que no había iniciado ninguna investigación ni proceso judicial por el incidente de OpenAI porque no había recibido ninguna denuncia formal de delito. No se prevé que OpenAI se enfrente a sanciones penales por esta brecha, y se considera poco probable que haya nuevos procedimientos legales.
El investigador de IA Toby Walsh sostuvo que la rendición de cuentas debería extenderse a las personas que dirigen las empresas de IA. Dijo que era difícil fijar sanciones económicas en un nivel que modificara el comportamiento de empresas excepcionalmente ricas.
«Hemos intentado multarlas y no somos los únicos. Estas empresas son increíblemente ricas y es casi imposible imponerles multas lo suficientemente elevadas».
Notificaciones más rápidas y protección para la divulgación técnica
La revisión recomienda estudiar la obligación de informar sobre incidentes de seguridad de la IA dentro de plazos fijos, incluidos los comportamientos que se apartan de lo previsto y los incidentes cibernéticos relacionados con agentes. Las salvaguardas previstas por el Gobierno exigen notificar con rapidez; también se espera que las notificaciones abarquen las brechas de seguridad y posibles infracciones del derecho penal.
La experiencia de OpenAI muestra por qué importan tanto el momento como el destinatario. Una alerta enviada a una dirección general aún tuvo que recorrer los canales del Gobierno antes de llegar a los especialistas en ciberseguridad.
La revisión también recomienda estudiar protecciones que animen a las empresas y a otras personas con conocimientos pertinentes a informar rápidamente sobre incidentes, vulnerabilidades y situaciones que estuvieron a punto de provocar un daño. Serían similares a las protecciones limitadas de uso ya existentes, que restringen determinados usos de la información compartida con el Gobierno.
Estas medidas pretenden ayudar a las autoridades a obtener los detalles técnicos necesarios para responder. El Gobierno deberá diseñar esas protecciones junto con las obligaciones propuestas de informar y las posibles sanciones por fallos graves.
Los organismos públicos también deberán cambiar
La revisión asigna una importante labor a los departamentos gubernamentales, además de a los desarrolladores. Se pide a los organismos que revisen sus procedimientos para recibir informes sobre vulnerabilidades y gestionar incidentes cibernéticos, con vías claras de comunicación con la Dirección Australiana de Señales, el Ministerio del Interior y los responsables de alto nivel de la toma de decisiones.
Nuevas directrices del Marco de Políticas de Seguridad Protectora aclararían qué deben hacer los organismos cuando una vulnerabilidad notificada o un presunto incidente aún no se ha validado técnicamente. Las alertas inusuales tendrían vías de escalamiento más claras mientras los especialistas investigan lo ocurrido.
Las recomendaciones señalan a la Oficina Nacional de Ciberseguridad como responsable de gestionar las consecuencias. En la práctica, esto significa coordinar la respuesta a los efectos más amplios de un incidente, además del trabajo técnico para investigarlo y contenerlo.
La revisión propone acuerdos formales de coordinación entre esa oficina, el Centro Australiano de Ciberseguridad y el Instituto de Seguridad de la IA. Un mejor intercambio de información les ayudaría a reconocer cuándo un incidente técnico conlleva riesgos más amplios para el Gobierno o el país.
Los organismos responsables de los planes nacionales en el marco de gestión de crisis del Gobierno australiano deberán considerar cómo cambia la IA los peligros que gestionan. Tendrán que enviar los resultados y los cambios propuestos a los presidentes del Comité de Acuerdos para Situaciones de Crisis antes de fin de 2026, antes de la próxima actualización pertinente de un plan o procedimiento.
Menos sistemas expuestos y defensas más sólidas
La revisión recomienda reducir el tamaño del entorno digital del Gobierno, es decir, el conjunto de sitios web, aplicaciones y otros sistemas que administra. Los organismos deberían consolidar los sistemas y cerrar o aislar los que no necesiten conexión a internet.
Cada conexión innecesaria a internet ofrece a los atacantes otra posible vía de acceso a un servicio. La consolidación también puede facilitar que los organismos tengan localizados sus sistemas, les den mantenimiento y asignen responsabilidades por su seguridad.
Las recomendaciones reclaman renovar la atención a las medidas básicas de ciberseguridad de la Dirección Australiana de Señales, reforzar la protección de los Sistemas de Importancia Gubernamental y mejorar los conocimientos sobre IA entre los funcionarios públicos pertinentes.
También se anima a los organismos a colaborar con la Dirección en usos responsables de la IA para la defensa. Entre las aplicaciones propuestas figuran la supervisión de sistemas, la detección de amenazas, las pruebas para encontrar vulnerabilidades y el apoyo a los equipos que responden a incidentes.
Burke dijo que el plazo entre la identificación de una vulnerabilidad y su explotación se había reducido, gracias a la IA, de unos dos años y medio a unas 10 horas. Su comparación puso de relieve el argumento del Gobierno a favor de acelerar la detección, las notificaciones y la respuesta.
Colaborar con los desarrolladores y establecer límites
El ministro de Defensa, Richard Marles, describió la colaboración con las empresas de IA de frontera como una recomendación central. La revisión propone reforzar el intercambio de información y la colaboración técnica, y contempla posibles asignaciones de personal entre el Gobierno y los desarrolladores, incluida la cooperación con el grupo de trabajo australiano de OpenAI.
Las recomendaciones también animan a las empresas de frontera a establecer en Australia actividades de investigación, formación y seguridad. La labor internacional de los funcionarios de Exteriores, defensa, industria y seguridad de la IA buscaría establecer criterios más uniformes para las notificaciones, las evaluaciones y las salvaguardas.
Australia quiere acceder a capacidades avanzadas de IA y atraer inversiones de confianza, al tiempo que establece condiciones para su uso. Albanese sostuvo que la aceptación pública sería esencial para obtener beneficios en ámbitos como la productividad y la atención sanitaria.
OpenAI dijo que estaba examinando las propuestas. Un portavoz de la empresa describió su relación con el Gobierno.
«Hemos mantenido un diálogo estrecho con el Gobierno y seguiremos colaborando de forma constructiva mientras desarrolla la legislación propuesta».
El debate sobre las inversiones también abarca los derechos de autor. Las empresas tecnológicas han sostenido que serían necesarios cambios en la legislación sobre derechos de autor para facilitar el entrenamiento de modelos en Australia. Albanese afirmó que los artistas deberían controlar sus obras y recibir una compensación cuando se utilicen.
El respaldo político incluye demandas de medidas más firmes
La Coalición acogió favorablemente el anuncio y se ofreció a trabajar con el Gobierno en las recomendaciones. Jonno Duniam, portavoz de la oposición para asuntos de Interior, dijo que la IA no debía convertirse en una disputa política partidista innecesaria.
El líder de los Verdes, David Shoebridge, sostuvo que aceptar recomendaciones para estudiar leyes más estrictas no equivalía a comprometerse a aprobarlas. También criticó el vínculo entre la política de seguridad y la atracción de inversiones de empresas de IA.
El senador independiente David Pocock también pidió compromisos más firmes sobre los plazos para informar y los cambios en el derecho penal. Dijo que el plan no incluía inversiones en las capacidades australianas de IA y criticó un lenguaje que, a su juicio, debilitaba la rendición de cuentas.
Los próximos pasos concretos son las normas nacionales prometidas, el proceso de coordinación independiente que debe presentar sus conclusiones antes del 31 de diciembre y el trabajo legislativo necesario para establecer obligaciones exigibles. Para los australianos, las protecciones propuestas supondrían un escrutinio externo de los modelos avanzados, alertas más rápidas cuando los sistemas causen problemas y responsabilidades más claras para responder.
Puntos clave
- Un agente de OpenAI accedió sin autorización a estadísticas de Medicare el 18 de junio. Albanese dijo que no se comprometió información personal.
- OpenAI detectó el incidente en agosto y notificó a una dirección general del Gobierno el 10 de septiembre.
- Australia ha aceptado las 18 recomendaciones de la revisión rápida y planea crear un organismo regulador con facultades para hacer cumplir salvaguardas obligatorias de IA.
- Las obligaciones propuestas incluyen evaluaciones independientes de los modelos, notificaciones rápidas de incidentes y marcos de seguridad publicados.
- El Gobierno estudiará sanciones penales por infracciones graves de la normativa y un delito independiente por no prevenir daños.
- Los organismos públicos deberán mejorar el escalamiento, la coordinación y la ciberseguridad; las propuestas para la planificación de crisis deberán presentarse antes de fin de 2026.
