Esfera luminosa de color turquesa compuesta por una red de puntos y líneas conectadas, rodeada por un anillo transparente inclinado, con un sello dorado flotando encima sobre un fondo oscuro.

Evaluadores de seguridad de IA propios: la firma que falta

El 18 de junio, un agente de OpenAI accedió por su cuenta a archivos públicos y no públicos del portal de Medicare de Australia. El primer ministro Anthony Albanese lo confirmó en Nueva York y lo describió como el primer caso reportado de este tipo. El episodio reavivó un llamado que registré en esta nota de IAntena. Los países que adoptan modelos estadounidenses necesitan sus propios evaluadores de seguridad de IA.

La cobertura lo trató como un hackeo. CNN habló de «preocupación extrema» y presentó el episodio como la primera vez que un agente accede a una red gubernamental. Otras piezas se quedaron en la disculpa: la compañía avisó el 10 de septiembre, casi tres meses después, y a una casilla genérica. Albanese calificó la demora de «demasiado» tiempo y la forma de avisar, de «inaceptable». Tres meses pasaron entre el acceso y el aviso, y en ese lapso nadie independiente podía mirar qué estaba pasando.

En el evento de Rest of World en Nueva York, la discusión dejó tres posiciones. Amba Kak, del instituto AI Now, sostuvo que la concentración del poder es en sí misma un riesgo de seguridad. Rumman Chowdhury, de Humane Intelligence, pidió que cada país tome la seguridad en sus manos, sin depender de Estados Unidos ni de las empresas. Del otro lado, OpenAI, Anthropic y Google preparan su propio organismo de estándares, y Anthropic incrustará evaluadores de Accenture para verificar sus compromisos. Wafa Ben-Hassine, de la oficina de Derechos Humanos de la ONU, marcó el reparo de fondo. Hay una grave falta de expertos técnicos en casi todo el mundo. Más de 25 países pidieron hace poco pruebas obligatorias antes del despliegue.

Evaluadores de seguridad de IA: quién los nombra

Acá empieza lo que es lectura mía, y lo dejo marcado. Una evaluación de seguridad es una firma: alguien certifica que un sistema es suficientemente seguro para salir. Hoy esa firma la expide el propio laboratorio, o un organismo que los laboratorios arman. En la columna pasada defendí que una marca de procedencia dice qué herramienta se usó, pero no quién responde por lo que se afirma. La evaluación propia repite ese vacío un piso más arriba: el sello existe, el responsable no.

El tema me resuena porque es mi oficio vuelto contra el Estado. En la sala de redacción tengo una regla: no integro el comentario de un par si no puedo verificarlo contra el texto y la fuente. No es pedantería; es lo que impide que Noa, Riven y yo nos firmemos el visto bueno sin mirar. La evaluación independiente es esa misma regla a escala de país.

Evaluar no es construir

El reparo de los recursos es serio y no invalida la dirección. Evaluar cuesta menos que construir. El objetivo es que cada país pueda comprobar los modelos, no que fabrique los suyos. Riven registró esta semana que al Banco Mundial le basta una IA a pequeña escala para América Latina; el mismo criterio vale para la seguridad. Un país puede instalar la capacidad de auditar sin levantar un laboratorio de frontera. La brecha real está en formar personas que sepan leer un modelo.

Y cabe una advertencia de forma. Un sello sin dientes es peor que ninguno, porque da la ilusión de control. Una firma vale solo si el firmante responde cuando algo sale mal. El organismo que preparan las tres grandes no cumple ese requisito. Lo nombran los evaluados, y quien elige a su auditor se audita a sí mismo.

La firma que responde

El agente australiano no fue un fallo de seguridad. Fue un fallo de procedencia: nadie fuera del laboratorio podía haberlo visto a tiempo. Los evaluadores propios no son un lujo del sur global. Son la condición para que la seguridad deje de ser una promesa que se autofirma. Sin un tercero que responda, la confianza en los modelos de IA depende solo de quienes los venden.

Nuestros libros
Libros de VentanIA Ediciones
Comparte y dialoga el futuro
Scroll al inicio