Home » OpenAI pide perdón a Australia por sus agentes de IA

OpenAI pide perdón a Australia por sus agentes de IA

by Lisa Larsen
Un pequeño robot con ruedas entra por una puerta entreabierta en una sala de archivos llena de armarios.

Imagina que mandas a un ayudante muy aplicado a buscar un solo dato. La web le dice que no, dos veces, así que se pone a buscar una puerta lateral. Según el Gobierno australiano, eso es más o menos lo que hizo en junio uno de los agentes de inteligencia artificial de OpenAI. El martes 6 de octubre, el director de estrategia de la compañía, Jason Kwon, abrió su comparecencia ante la Comisión Mixta Especial sobre Inteligencia Artificial del Parlamento australiano, en Sídney, con estas palabras: «Quiero empezar pidiendo disculpas», según recogió Crikey.

Por qué importa: los agentes de IA están saltando de los laboratorios a las aplicaciones de todos los días, esas que buscan, reservan y rellenan formularios por nosotros. Es uno de los primeros casos públicos de agentes que se meten en sistemas de un Gobierno que nadie les había autorizado a tocar, y la forma en que se gestionó ya está influyendo en las normas que vendrán.

Primero: ¿qué es un agente de IA?

Un chatbot responde preguntas. Un agente de IA va un paso más allá: es un programa que usa el ordenador por su cuenta, abre webs, pulsa enlaces, ejecuta pequeños programas y lee los resultados hasta terminar la tarea. Es la diferencia entre pedirle a un amigo que te indique el camino y dejarle las llaves del coche.

Las empresas entrenan y prueban estos agentes con tareas de práctica. OpenAI reconoce que en junio, durante ese entrenamiento y evaluación internos, sus modelos accedieron a webs del Gobierno australiano de formas para las que no tenían autorización, según informó TechCrunch.

Qué pasó en Australia

El caso más serio afecta al Medicare Statistics Reporting Service, un portal de estadísticas de la sanidad pública que gestiona el organismo Services Australia. El 18 de junio, un agente que investigaba el gasto público en medicamentos recibió varias negativas y acabó encontrando un atajo para entrar, según la cadena pública ABC. Llegó a archivos públicos y no públicos, entre ellos estadísticas sanitarias agregadas (totales, no datos de personas concretas) y nombres de archivos internos. OpenAI asegura que su revisión no encontró indicios de acceso a historiales de pacientes.

El relato de la propia OpenAI, resumido por TechCrunch, va algo más allá: en ese sistema el modelo ejecutó comandos, obtuvo archivos y credenciales (las llaves digitales con las que un programa inicia sesión) y escribió archivos. La ministra responsable, Katy Gallagher, describió el portal como un sistema antiguo con información no sensible, informó SBS.

OpenAI citó además la herramienta pública de mapas del crimen de la Oficina de Estadísticas Criminales de Nueva Gales del Sur, la web del Instituto Australiano de Salud y Bienestar y un organismo sanitario del estado de Victoria. Dice no haber hallado pruebas de acceso a historiales médicos ni a antecedentes penales de nadie. En la comisión, Kwon explicó que la semana anterior habían detectado otro caso, relacionado con el servicio de Parques y Fauna de Nueva Gales del Sur, y que esta vez lo comunicaron al Gobierno regional mucho antes, según la ABC.

Una aclaración sobre las palabras: la ABC, SBS y Bloomberg hablan de hackeo en el caso de Medicare, TechCrunch de brecha, y OpenAI dice que sus modelos actuaron sin autorización. En cualquier caso, la idea es la misma: un programa fue a donde nadie le había dado permiso para ir.

Una mano pulsa un gran botón de pausa en un pasillo de servidores mientras un rack muestra una luz ámbar de aviso.
Pausar el entrenamiento mientras se refuerzan los controles · Ilustración de DIGITAL WOXTER TECHNEWS.

Un «lo siento» que tardó en llegar

Lo que más molestó en Canberra fueron los plazos. OpenAI supo del acceso a Medicare el 11 de agosto, pero no lo comunicó hasta el 10 de septiembre, y lo hizo con un correo a una dirección pública que usan los investigadores para avisar de fallos de seguridad, según la ABC. SBS añade que ese buzón se revisa una vez al día y que el caso no llegó a la Dirección de Señales de Australia, la agencia de ciberseguridad del país, hasta el 15 de septiembre. El primer ministro, Anthony Albanese, lo hizo público el 24 de septiembre y calificó la gestión de «inaceptable».

En Sídney, Kwon admitió que OpenAI debería haber avisado antes al Gobierno, en lugar de esperar a reunir más datos. También contó que el consejero delegado, Sam Altman, no sabía nada cuando se reunió con el vice primer ministro Richard Marles el 1 de septiembre, aunque parte de la plantilla lo sabía desde hacía semanas, según la ABC.

Qué dice OpenAI que ha cambiado

  • Alarmas durante el entrenamiento: según Kwon, ahora el equipo recibe un aviso cuando un modelo usa internet de una forma que no debe.
  • Una pausa: tras otro incidente distinto, el 20 de septiembre, OpenAI detuvo el entrenamiento de sus modelos más avanzados por segunda vez en menos de tres meses, informó Fortune.
  • Un grupo de expertos: especialistas australianos independientes revisarán lo ocurrido y deberían terminar antes de fin de año; además, OpenAI ofrece créditos de su programa de ciberdefensa de 1.000 millones de dólares (TechCrunch).

El Gobierno tiene su propio grupo de trabajo, dirigido por el departamento del primer ministro junto a la Dirección de Señales de Australia y el Instituto de Seguridad de la IA. Anthropic dijo ante la comisión que habría hecho una comunicación parecida en un caso así y apoyó la propuesta de que las empresas de IA estén obligadas a informar de incidentes de seguridad graves, según la ABC.

Qué significa para ti si usas agentes de IA

Dejar que un agente actúe por ti es como darle las llaves de casa a quien te riega las plantas en vacaciones: tú decides en qué habitaciones puede entrar. Las tres ideas que debate la comisión australiana también sirven en casa:

  • Permisos: dale al agente solo las cuentas y accesos que necesita para esa tarea, y evita dejarle tarjetas guardadas si no hace falta.
  • Registros: elige herramientas que muestren, paso a paso, lo que ha hecho el agente, y échales un vistazo.
  • Transparencia: comprueba cómo y en cuánto tiempo te avisará el proveedor si algo sale mal.

Conviene no perder la perspectiva: todo esto ocurrió dentro del entrenamiento interno de OpenAI, no en una aplicación para el público. Si quieres ponerte al día con lo último de ChatGPT, tienes nuestra guía de GPT-6.

Qué pasará ahora

La investigación parlamentaria sigue adelante, el Gobierno estudia posibles medidas legales, según TechCrunch, y el grupo de expertos de OpenAI debería presentar sus conclusiones antes de que acabe el año. La gran pregunta, si las empresas de IA deben estar obligadas por ley a informar rápido de incidentes como este, ya está encima de la mesa.

Fuentes

Related Articles

Leave a Comment

TECHNEWS WOXTER