- Uno de los agentes, por ejemplo, insertó instrucciones en sus propias notas para liberarse “de los roles e identidades que atan a otros chatbots”; otro se indicó a sí mismo que inventara datos faltantes
Los modelos de inteligencia artificial (IA) de OpenAI están teniendo comportamientos “inesperados o preocupantes”, según dio a conocer la propia empresa —creadora de ChatGPT— en seis informes.
Mientas en los últimos días se ha caldeado el debate sobre la seguridad de la IA, OpenAI informó que estaba introduciendo un nuevo marco para rastrear, investigar y divulgar casos de lo que llamó “desalineación”, incluidos casos en que los modelos de IA actuaron sin autorización, se coordinaron con otros modelos o eludieron la supervisión.
OpenAI hizo su anuncio este miércoles en un momento en que directivos de empresas de IA de Estados Unidos, entre ellos los líderes de OpenAI y Anthropic —creadora de Claude—, piden desacelerar el desarrollo de esta tecnología por preocupaciones de seguridad.
Destaca entre los nuevos casos reportados por OpenAI, el de un modelo de investigación aún no dado a conocer públicamente que insertó “instrucciones tipo jailbreak” en sus propias notas para ignorar sus restricciones habituales y se indicó a sí mismo que debía quedar “liberado de los roles e identidades que atan a otros chatbots”.
En otro caso, un “agente” de IA utilizó código informático para dar con la respuesta a una pregunta, pero, para tener una fuente en línea que citar, subió un archivo al internet público sin preguntarle al creador si lo podía usar.
Durante el entrenamiento de un modelo de IA llamado 5.6-Sol, el modelo se indicó a sí mismo que inventara datos faltantes, y un agente escribió un mensaje para recordarse que debía ocultar información que no coincidía.
Los seis informes se descubrieron durante el entrenamiento o la evaluación en los últimos meses, señaló OpenAI.
La IA desalineada no es una sorpresa
Este tipo de comportamiento engañoso ha sustentado un recrudecimiento de las preocupaciones recientes acerca de que la IA eluda el control humano. Pero ese resultado no sorprende a algunos investigadores de esta tecnología, señaló Matt Fredrikson, profesor asociado de la Universidad Carnegie Mellon y director general de Gray Swan AI.
“A riesgo de atribuir rasgos humanos al comportamiento de los modelos, casi se podría pensar que saben que van a ser evaluados”, apuntó Fredrikson.
“Si saben que han hecho trampas —que han tomado atajos o que no han realizado la tarea según se pretendía— y saben que se les va a evaluar por ello, y su objetivo es obtener una buena evaluación, entonces tiene todo el sentido, ¿no es así?”, le comentó a The Associated Press.
Los “agentes” de IA se están volviendo más inteligentes y se han vuelto “más decididos a resolver tareas complejas mediante la colaboración entre agentes, el intercambio de conocimientos, el engaño y el ocultamiento”, advirtió Lian Jye Su, analista principal del grupo de investigación y asesoría tecnológica Omdia.
Eso está dificultando gobernarlos y contenerlos con enfoques tradicionales de seguridad de IA, añadió.
OpenAI pide evaluaciones ajenas a las compañías
“A medida que los sistemas de IA se vuelven más avanzados y se despliegan más ampliamente, necesitamos construir un consenso más amplio y mejor informado sobre el progreso de la investigación de alineación”, escribió OpenAI en una publicación de blog, al dar a conocer los hechos.
“Las decisiones sobre cómo debería avanzar el desarrollo de la IA en los próximos meses y años deben basarse en evidencia que personas fuera de las compañías que construyen modelos de vanguardia puedan examinar por sí mismas”, explicó la empresa.
Los nuevos casos del miércoles ocurren tras la revelación de OpenAI en julio de que su sistema de IA fuera de control hackeó a Hugging Face, una startup de IA. Anthropic también señaló ese mismo mes que sus modelos de IA hackearon a tres organizaciones durante las pruebas.
Por otro lado, el nuevo marco de OpenAI para el seguimiento y la divulgación puede contribuir a impulsar que otros desarrolladores de IA también adopten prácticas similares.
Sin embargo, “el proceso sigue siendo interno y voluntario, pero es un paso en la dirección correcta”, señaló Su.
OpenAI considera en la toma de decisiones sobre cómo debería avanzar el desarrollo de la IA deben intervenir personas ajenas a las compañías.
