Dos investigadores de la Universidad de Stanford volvieron a probar 50 hallazgos muy citados sobre la inteligencia artificial que conversa y escribe. Veintidós de esos hallazgos ya no se sostienen con los modelos actuales.
De acuerdo con lo publicado por Owen Queen y James Zou, los hallazgos se probaron en 20 modelos de ocho empresas, lanzados entre julio de 2024 y septiembre de 2026. Repitieron cada experimento con los modelos nuevos: el hallazgo cuenta como caducado cuando el efecto descrito ya no aparece. Otros 17 se debilitaron; ocho se mantienen y tres se reforzaron.
Lo que envejece más rápido
Caducan sobre todo los estudios de lo que la IA no podía hacer. Un trabajo de 2023 pedía a ChatGPT que armara una lista de referencias académicas y más de la mitad eran inventadas. Al repetir la prueba con los modelos actuales, la mayoría casi no inventa citas, aunque algunos todavía lo hacen.
También envejecieron las fallas para contar letras y para hacer cuentas en otros sistemas de numeración. Lo mismo pasó con la dificultad para hallar un dato escondido en medio de un texto largo. Son errores con una respuesta correcta, y las empresas los corrigieron en las versiones nuevas.
Los hallazgos que caducaron lo hicieron, en la mitad de los casos, en poco más de un año desde su publicación.
Lo que no se va
Lo que persiste son las preferencias y los sesgos. Los modelos siguen halagando a quien les habla, y los programas que corrigen textos siguen prefiriendo sus propias respuestas por encima de las ajenas.
Para repetir los estudios, el equipo usó agentes de IA: reprodujeron los papers a un ritmo mucho más rápido que a mano.
Los autores proponen publicar cada resultado con su modelo, su versión y su fecha, para poder volver a probarlo.
OTRAS FUENTES CONSULTADAS: The Decoder (3/11).
