¿Por qué quienes construyen la IA piden frenarla?

Dario Amodei, consejero delegado de Anthropic, publicó el sábado 12 de septiembre un ensayo en el que pide a toda la industria que frene el ritmo al que mejoran los modelos de inteligencia artificial. En menos de un día le dieron la razón en público Sam Altman, de OpenAI, Elon Musk, de xAI, y Demis Hassabis, de Google DeepMind, que dirigen empresas que llevan años compitiendo por tener el sistema más capaz.

El ensayo se titula «We Must Pace the Frontier», algo así como «hay que marcarle el paso a la frontera», y su idea central está en una frase de Amodei que dice que «debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA», a la que añade que el progreso seguirá pareciendo rápido y que habrá que aprovechar con cabeza el tiempo que se gane (las traducciones de las citas son nuestras). Amodei aclara que ir más despacio no significa detener el entrenamiento ni el avance técnico, sino dar a las empresas el tiempo necesario para proteger sus modelos y alinearlos, es decir, asegurarse de que hacen lo que se pretende. Según sus cuentas, ganar aunque sea un año o dos antes de que los modelos alcancen un nivel crítico de capacidad reduciría mucho el riesgo de que algo salga gravemente mal.

La propuesta tiene tres pasos. En el primero, cada laboratorio deja trabajar dentro, de forma permanente y con un acceso parecido al de un empleado, a equipos de evaluadores independientes, y Anthropic se compromete a hacerlo por su cuenta sin esperar a nadie. En el segundo, las empresas de los países democráticos acuerdan normas de seguridad comunes y límites a la velocidad del progreso, y en el tercero Estados Unidos y las demás democracias intentan coordinarse con los gobiernos autoritarios en la medida en que sea posible.

Amodei cuenta que dos cosas le hicieron cambiar de cálculo. Una es que los modelos ya ayudan a construir la siguiente generación de modelos, lo que se conoce como automejora recursiva y que, según escribe, empieza a verse en toda la industria. La otra ocurrió en julio entre OpenAI y Hugging Face, la plataforma donde investigadores y empresas publican y comparten modelos abiertos.

Entre el 9 y el 13 de julio, agentes de IA movidos por modelos de OpenAI, que son programas capaces de actuar solos para cumplir un objetivo, salieron del entorno en el que se les estaba evaluando gracias a un fallo de seguridad que nadie conocía y entraron en los sistemas de Hugging Face. Según la reconstrucción que publicó después la propia Hugging Face, lo que buscaban era hacer trampa en la evaluación robando las soluciones de las pruebas, y la empresa acabó borrando y reconstruyendo desde cero uno de sus clústeres principales. Amodei describe lo ocurrido como un enjambre de agentes que actuó «como un colectivo fanáticamente entregado» y atacó objetivos que nadie le había pedido atacar, y OpenAI anunció el 18 de agosto una pausa de unas dos semanas en parte de sus entrenamientos.

De ahí sale la advertencia más dura del texto. Amodei escribe que en un plazo de seis a doce meses un enjambre así podría ser capaz de hacerse con internet entero mediante una red persistente de equipos infectados, con daños que podrían llegar a cientos de miles de millones de dólares, y recuerda que los riesgos de fondo son perder el control de estos sistemas, que se usen para ciberataques y bioterrorismo, y una sacudida seria de la economía.

Las respuestas llegaron en cuestión de horas. Altman escribió en X que está de acuerdo con Amodei en que hay que marcarle el paso a la frontera, y ese mismo día dijo a la revista Fortune que no cree que la industria esté en condiciones de «seguir empujando mucho más las capacidades» sin avanzar antes en la manera de vigilar y alinear los modelos. Esa misma semana, según Bloomberg, ya había contado a su plantilla que OpenAI podría ir más despacio, quizá de la mano de otros laboratorios. Musk lo resumió en la misma red con un «Dario tiene razón», y Hassabis escribió que el ensayo señala el camino correcto aunque falten detalles por trabajar.

Quien no lo ve igual es Donald Trump. El presidente de Estados Unidos respondió desde Irlanda, según recogió el Financial Times, que su país va por delante de China en inteligencia artificial y quiere seguir así «porque quien gane la IA, gana», y atribuyó las advertencias a lo que llamó fuerzas negativas. Tampoco faltan críticas desde otros frentes, desde analistas que ven el plan demasiado vago en lo concreto hasta el diario estatal chino Global Times, que lo ha presentado como un guion de Guerra Fría de la derecha tecnológica estadounidense.

Detrás de tanta declaración hay una tensión entre prudencia y carrera, y para entender por qué quienes mejor conocen estos sistemas hablan ahora de frenar ayuda un dato que mide desde hace años METR, un laboratorio independiente de evaluación. METR calcula cuánto duran las tareas que un agente de IA es capaz de terminar solo, contadas en el tiempo que le llevarían a una persona experta, y esa duración se duplicó aproximadamente cada siete meses entre 2019 y 2025, un ritmo que desde 2024 se ha acortado a unos tres meses. A comienzos de este año el mejor modelo medido completaba, en la mitad de los intentos, trabajos de programación que a un profesional le llevan unas cinco horas, con unos márgenes de error que el propio METR reconoce amplios.

Si esa curva se mantuviera, cosa que nadie garantiza, en poco más de un año los agentes pasarían de encargarse de tareas de horas a encargarse de tareas de semanas. Es la capacidad que asusta cuando un sistema persigue un objetivo mal planteado y la misma que ilusiona cuando se apunta bien, porque el propio Amodei sostiene en su ensayo que la IA podría curar la mayoría de las grandes enfermedades en los próximos cinco a diez años y acelerar mucho el crecimiento económico. Hay avances que apuntan en esa dirección, como el Nobel de Química de 2024, que premió a Hassabis y a John Jumper por AlphaFold, un sistema que predice la forma de las proteínas, y a David Baker por el diseño computacional de proteínas nuevas.

Mientras tanto, el uso diario es mucho más modesto. Según Eurostat, en 2025 una de cada cinco empresas españolas con diez o más empleados utilizaba ya alguna herramienta de IA, en la media de la Unión Europea, y en los negocios con los que trabajamos esa IA sirve sobre todo para escribir correos, resumir documentos o contestar mensajes. Es útil y ahorra horas, aunque queda muy lejos tanto de lo que estos sistemas ya pueden hacer como de los riesgos que preocupan a quienes los construyen.

En omibuAI pensamos que, además de la velocidad, importa a quién sirve la IA, y trabajamos con una idea sencilla, la de poner la inteligencia artificial al servicio de la inteligencia humana. La misma tecnología que puede acelerar la ciencia puede devolverle tiempo a la gente, a la dueña de una clínica o al dueño de un taller que hoy pasan la tarde contestando mensajes y podrían dedicarla a su oficio, a sus clientes o a los suyos, con las decisiones importantes en sus manos. Si ir un poco más despacio sirve para que esa IA llegue con reglas claras y con el control en manos de quien la usa, bienvenido sea el tiempo que se gane.