Anthropic le entrega las llaves de su casa a un auditor externo: qué significa que METR revise sus modelos desde adentro

¿Se puede confiar en que una empresa revise sus propios modelos de inteligencia artificial sin que nadie mire desde afuera? Es la pregunta que persiguió a la industria durante años y que ahora Anthropic decidió responder de la manera más osada: abriendo la puerta de su casa. La compañía les dio a seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de IA, el mismo nivel de acceso que tiene un empleado del área de evaluación de riesgos. Computadora de la empresa, espacio físico en sus oficinas y herramientas internas incluidas.

El acuerdo permite a METR hablar con el personal como cualquier colega y publicar lo que encuentre sin que Anthropic pueda frenarlo. Hay tres excepciones, eso sí: datos de clientes, información protegida por secreto profesional entre abogado y cliente y detalles de la arquitectura de los modelos. En esos puntos la empresa puede pedir que se redacte el contenido, pero METR conserva el derecho de decir públicamente si esa redacción le pareció justificada o no.

Tres niveles, un solo privilegiado

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan autorización previa para publicar.
• Nivel intermedio: más información y libertad para publicar sin pedir permiso.
• Nivel alto, ocupado solo por METR: acceso equivalente al de un empleado y publicación sin restricciones de evaluaciones, reportes de incidentes y análisis de prácticas internas.

Para justificar un acceso tan profundo, Anthropic enumeró cuatro condiciones que, a su entender, debe cumplir cualquier auditoría útil. Primero, experiencia técnica suficiente para detectar cuando un modelo finge estar alineado en lugar de estarlo de verdad; es decir, cuando dice lo que queremos escuchar en lugar de comportarse como debería, un truco parecido al alumno que copia las respuestas del compañero en el examen. Segundo, independencia económica y operativa respecto de la empresa auditada. Tercero, acceso que vaya más allá del modelo e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad. Y cuarto, libertad total para publicar sin restricciones previas.

La propia compañía reconoció que no puede hacer pública toda su información de seguridad, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde el punto de vista comercial. Por eso optó por un esquema raro: acceso profundo a un grupo chico que opera bajo acuerdos exigibles, mientras el resto del personal de METR queda aislado de ese trabajo. El equipo venía revisando informes de riesgo de Anthropic desde hacía un año, cuando todavía no tenía este nivel ampliado de privilegios.

¿Qué cambia para el usuario común? Por ahora, poco en lo inmediato: METR no encontró todavía una vulnerabilidad catastrófica que haya obligado a retirar un modelo. Pero el precedente importa. Es la primera vez que una empresa de frontera en inteligencia artificial le entrega a un tercero independiente las herramientas, la oficina y la libertad de publicación con las que trabaja un empleado. Si el esquema funciona, una referencia para el resto de la industria. Si falla, también.