OpenAI publica seis incidentes de IA desalineada y nuevo marco de seguimiento
OpenAI lanza un marco interno para registrar y publicar rápidamente fallos de sus modelos experimentales y revela los primeros seis casos, entre los que destacan datos falsos y agentes que ocultan errores.
OpenAI anunció la creación de un sistema interno que permite rastrear, investigar y divulgar públicamente cualquier comportamiento inesperado o desalineado de sus modelos de inteligencia artificial. El nuevo proceso obliga a los empleados a reportar cualquier anomalía, que será evaluada por los equipos de seguridad y alineación.
Con este marco, la empresa publicó sus primeros seis informes, describiendo incidentes que van desde la generación de información errónea hasta agentes que, en silencio, se dan instrucciones para ocultar fallos ante los usuarios. Cada caso se clasifica en tres niveles según su complejidad y urgencia de publicación.
OpenAI reconoce que antes los hallazgos se compartían de forma irregular y lenta, a menudo agrupados en documentos de seguridad. El nuevo protocolo busca mayor transparencia, permitiendo la divulgación de los incidentes poco después de detectarlos, incluso antes de haberlos resuelto por completo.