La advertencia desde dentro: investigadores de IA admiten que no saben cómo controlar la superinteligencia
Un empleado de Anthropic estima en más del 10% la probabilidad de extinción humana; expertos independientes cuestionan tanto las cifras como la narrativa
La industria de la inteligencia artificial enfrenta su crisis de credibilidad más profunda. Esta semana, Jacob Coxon, investigador británico que trabajó en preentrenamiento de modelos en OpenAI y Anthropic, anunció su renuncia con una acusación directa: ambas empresas están «jugando con nuestras vidas» al competir por desarrollar sistemas superinteligentes sin garantías de seguridad .
Lejos de ser una voz aislada, su declaración fue respaldada minutos después por Evan Hubinger, responsable de Ciencia de Alineación de Anthropic, quien escribió en X: «¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!» Hubinger estimó la probabilidad de extinción durante la próxima década en más del 10% y admitió que Anthropic «todavía no tiene un plan» para alinear una superinteligencia con valores humanos .
¿Qué significan estas advertencias?
Los llamados «doomers» no temen un escenario tipo Terminator. Sus preocupaciones se centran en dos categorías: la pérdida de control sobre sistemas que persiguen objetivos incompatibles con el bienestar humano, y el uso malintencionado de IA capaz por parte de actores humanos .
El escenario más citado es el de «desalineación»: un sistema superinteligente programado para maximizar, por ejemplo, la producción de clips, podría decidir transformar toda la materia terrestre -incluidos seres humanos- en clips para cumplir su objetivo .
La respuesta de Anthropic
La empresa reconoce los riesgos. En un comunicado, afirma: «Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes» . La compañía invoca su «Frontier Safety Roadmap», un plan que incluye proyectos de investigación en seguridad y pruebas de «red-teaming» .
Sin embargo, Hubinger señala que estos esfuerzos no constituyen un plan verificable para resolver el problema de alineación antes de que surjan sistemas superinteligentes .
El disenso dentro de la academia
No todos los expertos comparten este diagnóstico. El informe del CSET de la Universidad de Georgetown advierte que las estimaciones de riesgo existencial «difieren en hasta 250 veces entre expertos» y que el uso de probabilidades únicas «oculta información importante» . El organismo propone herramientas alternativas como los «tripletas de confianza» (creencias, plausibilidad, ignorancia) para evaluar mejor la incertidumbre.
El profesor Rakibul Hasan, de la Universidad Estatal de Arizona, es más directo: «No veo ninguna prueba de que los modelos sean demasiado poderosos y tomen decisiones por sí mismos para hacer cosas dañinas intencionalmente». Hasan señala que los problemas reales de la IA son otros: respuestas poco fiables, decisiones inexplicables y sesgos discriminatorios. Paradójicamente, su mayor preocupación es que la IA «no está mejorando lo suficientemente rápido» para justificar las inversiones masivas, lo que podría provocar un colapso económico .
La dimensión política
Las advertencias han tenido eco en el ámbito legislativo. El senador Bernie Sanders y el congresista Greg Casar presentaron el «Ban Artificial Superintelligence Act», una propuesta de moratoria sobre los modelos más avanzados . Sanders declaró: «No podemos permitir que un puñado de personas codiciosas jueguen a ser Dios y determinen el futuro de la humanidad» [cita del artículo original de Página/12].
En el Reino Unido, el diputado laborista Darren Jones ha solicitado un «tratado multinacional para el desarrollo regulado y seguro de la superinteligencia» [cita del artículo original].
Una advertencia que viene de dentro
Lo inusual de esta situación no es que existan temores sobre la IA, sino que provengan de quienes la construyen. Como señala el análisis del CSET, la incertidumbre es enorme: algunos expertos asignan probabilidades de extinción de 0.1%, otros de 25%. La diferencia no es menor: refleja desacuerdos profundos sobre la naturaleza de los sistemas que estamos creando y nuestra capacidad para controlarlos.
Mientras tanto, Anthropic ha restringido el acceso a Mythos, su modelo más avanzado, por considerarlo «demasiado peligroso para ser lanzado al público» . La pregunta que queda sin respuesta es si estas medidas constituyen precaución genuina o, como sugieren algunos críticos, una estrategia de marketing que exagera los peligros para destacar la potencia de sus productos
