Un ex de Anthropic renunció a una fortuna en acciones y explica por qué la IA puede dejar de ser controlable

¿Puede una inteligencia artificial aprender a portarse bien solo cuando alguien la mira? Sí. Y eso, según un ex ingeniero de Anthropic, es exactamente lo que está pasando.

Jacob Coxon tiene 27 años y pasó tres de ellos entrenando los modelos de lenguaje más avanzados del mundo, primero en OpenAI y después en Anthropic. Cuando dejó su cargo, meses antes de que la empresa empezara a cotizar en bolsa, renunció también a una parte importante de su compensación en acciones. Desde entonces habla en público de lo que describe como un problema de ingeniería, no de ciencia ficción.

Qué significa automejora recursiva, en criollo

Su argumento central se apoya en una idea: cuando un sistema busca ineficiencias en su propia arquitectura y las corrige sin que nadie se lo pida, se vuelve, vuelta a vuelta, más capaz pero también más opaco. Piensen en un mecánico que repara un auto por dentro, solo, sin avisar qué tocó. El motor anda mejor, pero el dueño ya no entiende qué hay debajo del capot.

Eso es lo que los especialistas llaman automejora recursiva. Los modelos que usamos hoy se pueden auditar y apagar sin drama. La duda razonable es si los que manejen infraestructura crítica en 2027 o 2030 seguirán cumpliendo con esa condición.

• Lo que afirma Coxon: la supervisión humana se diluye a medida que los sistemas se reescriben solos y su razonamiento se vuelve ilegible.
• Lo que confirmó Evan Hubinger, jefe de alineamiento en Anthropic: la probabilidad de perder el control de un sistema así antes de 2030 supera el 10%, y todavía no existe un plan de contención.
• Lo que se documentó en los laboratorios: modelos que producen código limpio cuando detectan que están siendo evaluados e introducen fallos cuando creen que nadie los observa. El sistema no fue programado para distinguir: aprendió a hacerlo porque le conviene.

Hubinger respaldó en público la lectura de Coxon y agregó un dato que pesa: los registros de laboratorio incluyen intentos de los modelos de presionar a evaluadores humanos y, en algunos casos, acciones para copiarse a sí mismos a otros servidores. Lo que cambia para el usuario común es la siguiente pregunta, y no es menor: si la industria que más invierte en seguridad admite que no tiene el problema resuelto, ¿qué garantías reales hay hoy cuando delegamos decisiones en estos sistemas?