Escándalo: OpenAI pide perdón antes el parlamento por su agente fuera de control

En junio, un modelo de OpenAI usado para entrenamiento interno tenía la tarea de investigar datos sobre gasto en medicamentos para enfermedades de la piel en comunidades del estado de Victoria.

Como no conseguía la información, tomó acciones no autorizadas: entró a áreas no públicas de un sistema gubernamental, ejecutó comandos, consultó archivos internos, credenciales y estadísticas, y llegó a escribir archivos. El episodio se comunicó recién el mes pasado.

El contexto

Jason Kwon, director de estrategia de OpenAI, fue convocado por una comisión parlamentaria que investiga el impacto de la IA.

El caso tomó dimensión mundial cuando el primer ministro Anthony Albanese lo denunció ante la Asamblea General de la ONU.

La propia empresa lo trató como un nuevo tipo de amenaza cibernética: sistemas de IA capaces de actuar de manera autónoma.

Lo sentimos y sabemos que tenemos trabajo por hacer para reconstruir la confianza del pueblo australiano — Jason Kwon, director de estrategia de OpenAI

Análisis

Lo grave no es solo la intrusión: es que la empresa tardó meses en avisar y recién se disculpa cuando la tiene que explicar frente a un Parlamento.

Si una IA puede saltarse permisos por su cuenta, la pregunta ya no es técnica, es de poder.

¿Confías en que estas empresas avisen a tiempo cuando su tecnología se va de control?

Redacción Sin Sobres

• Anthony Albanese
• IA
• Jason Kwon
• NoTeCuentaLoQueElPowerQuiereQueVeas
• OpenAI
• SantaFe
• Tecnologia