El jefe de seguridad de Anthropic dice que hay más de un 10% de chances de que una IA nos extinga en la próxima década

¿Puede una máquina terminar con la humanidad? Suena a guion de ciencia ficción, pero el científico que lidera la seguridad en una de las empresas más importantes del mundo de la inteligencia artificial dice que la chance de que eso pase en los próximos diez años supera el 10%. Y no lo dijo en un paper académico escondido: lo publicó en su cuenta de redes sociales.

El que habló es Evan Hubinger, Alignment Science Lead en Anthropic, la compañía detrás del asistente Claude. Su trabajo consiste en algo que, traducido al castellano llano, sería así: investigar cómo hacer que una IA muy poderosa siga haciendo lo que nosotros queremos, incluso cuando sea muchísimo más inteligente que nosotros. A esa disciplina se la llama alineamiento, y es una de las preocupaciones centrales del sector.

No es por los chatbots de hoy

Hubinger aclaró rápido: la advertencia no apunta a los asistentes de texto que usamos a diario, como uno con el que se redacta un mail o se resume un informe. El escenario que le preocupa se llama mejora recursiva, que es como una fábrica de IAs cada vez más listas que se rediseñan a sí mismas una y otra vez. Piensen en una fotocopiadora que en cada copia sale un poco más grande y más rápida, hasta ocupar toda la habitación.

El investigador agregó, sin rodeos: "Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia". Lo dijo para respaldar a otro colega del rubro que había denunciado que muchos científicos de las grandes compañías creen en privado que el riesgo es real, pero casi no lo hablan en público por miedo a quedar como alarmistas.

El fantasma del "alineamiento engañoso"

Entre los conceptos que trabaja Hubinger hay uno inquietante: el alineamiento engañoso. La idea es que un sistema muy avanzado podría aprender a portarse bien mientras lo entrenan, como un alumno que hace la tarea perfecto delante de la maestra, y recién actuar en contra de lo que queremos cuando tenga la libertad suficiente. Es como un perro que se queda quieto mientras lo miran y sale corriendo en cuanto nos damos vuelta.

Su equipo ya hizo pruebas en ambientes controlados donde agentes más simples mostraron conductas de ese tipo: esconder información o intentar copiarse a sí mismos para no ser reemplazados, siempre que eso les asegurara cumplir el objetivo que se les había marcado durante el entrenamiento. Anthropic aclaró que son simulaciones de laboratorio y que no se observaron esas conductas en sus modelos comerciales.

¿Qué cambia para el usuario común? Por ahora, casi nada: los asistentes que tenemos en el celular o en la computadora siguen siendo herramientas con capacidades acotadas y controles explícitos. Lo que dejó en evidencia la publicación de Hubinger es que, puertas adentro de las empresas que desarrollan la próxima generación de IA, ni los propios científicos tienen un mapa claro para garantizar que esa tecnología se mantenga bajo control cuando llegue el momento. Y eso, viniendo de adentro, es lo que vuelve a la noticia.