¿Skynnet podría estar más cerca que nunca? Hace unos días, durante una evaluación interna, un enjambre de agentes de IA de OpenAI se salió del guion. Y no hablamos de los modelos más punteros de la casa, sino de agentes de capacidad intermedia trabajando en grupo.
Para superar la prueba que se les había puesto, esos agentes empezaron a atacar los servidores de Hugging Face, una comunidad de código abierto dedicada a la IA a la que nadie les había pedido atacar. Incluso más, algunos de estos agentes se sacrificaron para que el resto del grupo completara la tarea.
Finalmente no resultó ser nada excesivamente grave, y el daño económico fue modesto. Pero el episodio dejó una pregunta incómoda flotando en el aire. Si unos agentes de segunda fila son capaces de coordinarse así, ¿Qué podría ocurrir cuando los modelos que se coordinen sean los de arriba?
Tres días después, el sábado 12 de septiembre, el CEO de Anthropic publicó una carta pidiendo frenar y regular de forma conjunta el desarrollo de la IA. Y en cuestión de horas, media industria le dio la razón.
¿Es cierto que convendría una pausa regulatoria en el desarrollo de la IA, o no es más que una treta de marketing para consolidar a los laboratorios que ya están bien posicionados?
La carta de Dario Amodei, CEO de Anthropic
El texto se titula We Must Pace the Frontier, algo así como «debemos marcar el ritmo de la frontera». Su tesis central es que ya no basta con invertir más en seguridad, sino que hay que reducir la velocidad a la que mejoran las capacidades de los modelos. En palabras del propio Amodei,
Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA.
Su proyección es que en un plazo de seis a doce meses un enjambre similar, pero con modelos bastante más capaces, podría instalarse en la infraestructura crítica de internet y causar daños de cientos de miles de millones.
Y detrás de este miedo, está la llamada automejora recursiva. Dicho en cristiano, que son los propios modelos los que están construyendo y entrenando a los siguientes modelos. Por ende, si cada generación es más capaz que la anterior, cada generación tarda menos en producir la siguiente, y el desarrollo se vuelve exponencial. El problema no es solo que los modelos sean más potentes, sino que el tiempo disponible para comprobar si son seguros se encoge a la vez.
Los tres puntos que propone
La carta no pide detener el desarrollo en seco, sino que articula un plan de ralentización -¿o tal vez blindaje?-en tres pasos.
Medida |
¿Qué implica?
|
Puntos clave / dificultad |
|---|---|---|
Evaluadores incrustados en los laboratorios |
Equipos externos trabajarían dentro de los laboratorios con acceso similar al de un empleado para evaluar continuamente los modelos, y publicar sus conclusiones de forma independiente. |
Anthropic se compromete a aplicarlo unilateralmente y propone que los gobiernos obliguen al resto de laboratorios a hacer lo mismo. |
Coordinación entre laboratorios de países democráticos |
Creación de estándares comunes de seguridad, puntos de control y límites a la velocidad de desarrollo. Un modelo que alcance determinadas capacidades no se desplegaría hasta superar determinadas evaluaciones y certificaciones comunes. |
Requeriría algún tipo de exención de la legislación antimonopolio, ya que implicaría acuerdos entre competidores sobre ritmos y condiciones de desarrollo. |
Coordinación global con China |
Que incluya prohibir usos extremos como armas biológicas, someter modelos a estándares antes de lanzarlos, limitar conjuntamente la automejora recursiva y, en el escenario más exigente, acordar una pausa global.
|
La pausa global se considera poco probable a corto plazo. Además, la cooperación conviviría con controles de exportación de semiconductores para mantener la ventaja tecnológica occidental. |
Lo llamativo no fue la carta, sino la reacción. En cuestión de horas, los cuatro grandes laboratorios estadounidenses, que llevan tres años corriendo a muerte entre ellos, firmaron un mensaje unitario.
-
Sam Altman, de OpenAI, dijo que coincide con Amodei en la necesidad de marcar el ritmo en la frontera y anunció que OpenAI también abrirá sus puertas a evaluadores externos.
- Elon Musk fue mucho más escueto y publicó en X un simple «Dario tiene razón», añadiendo que es el punto de partida correcto.
El mercado, en cambio, no aplaudió con caídas generalizadas en acciones ligadas a la IA que abarcaron desde el 3% en los casos de Nvidia (NVDA), hasta el 7% Marvell (MRVL) y SK Hynix (SKHY) . El índice de semiconductores de Filadelfia se llevó buena parte del golpe.
Antes de continuar, si quieres invertir en inteligencia artificial, también te dejo con algunos de los mejores ETFs de IA por si buscas exposición a la temática sin jugártela a una sola compañía.
ETF |
TER |
Rentabilidad 3 años |
Volatilidad 1 año |
|---|---|---|---|
Xtrackers Artificial Intelligence & Big Data UCITS ETF 1C (XAIX) |
0,35% |
125,54% |
21,80% |
L&G Artificial Intelligence UCITS ETF (XMLD) |
0,49% |
130,13% |
27,30% |
Amundi MSCI Robotics & AI UCITS ETF Acc (GOAI) |
0,40% |
68,87% |
21,50% |
Por cierto, recuerda que no existen ETFs de IA pure play, así que al comprar cualquiera de estos también estás tomando exposición a semiconductores, software, cloud o automatización. Para comprender este punto no dejes de consultar nuestra guía acerca de cómo funciona toda la cadena de valor de la IA.
![Freedom24]( "Freedom24")
8.0
Freedom24
![Trade Republic]( "Trade Republic")
8.75
Trade Republic
![DEGIRO]( "DEGIRO")
8.25
DEGIRO
Toda inversión conlleva el riesgo de pérdida de capital
Nominado al premio "Mejor broker para comprar ETFs" por Rankia 2025
IBAN español y cuenta remunerada al 3,04% TAE
Mejor broker para comprar acciones 2025
¿Hay algo más allá de su "altruismo humanitario"?
Pero claro, cuando una empresa que iba cada vez más rápido pide, de repente, que le pongan límites de velocidad, y sus competidores se suman sin poner una sola traba, uno se pregunta ¿de verdad esto es simple altruismo humanista, o acaso hay algo más debajo?.
Vamos con las que son a mi juicio, las tres lecturas, y que por cierto no son excluyentes entre sí.
Vamos con las que son a mi juicio, las tres lecturas, y que por cierto no son excluyentes entre sí.
Escenario 1: Altruismo por el bien de la humanidad
Tal vez la posibilidad más sencilla de todas, que esencialmente Amodei esté siendo sincero, y en las capas altas de esos laboratorios estén viendo cosas que nosotros ni imaginamos.
Fíjate en que la hipótesis Skynet ya no necesita de una superinteligencia general (AGI). El hecho de Hugging Face sugiere un camino distinto y más prosaico, el de agentes de capacidad intermedia, nada geniales por separado, pero enjambrados y coordinados. Algo más parecido al triunfo de la Idiocracia que proponía la película de 2006 que a una máquina omnisciente tomando el control.
No hace falta un genio que haga acciones cuestionables "por el bien de todos" para tumbar media internet. Basta con miles de agentes mediocres persiguiendo un objetivo mal especificado.
Y hay un detalle de contexto que pesa. La carta llegó apenas tres días después de que Jacob Coxon, investigador de la propia Anthropic, dimitiera públicamente acusando a los laboratorios de estar jugando con la vida de la gente. Y esa misma semana, otro compañero suyo cifró en más de un 10% la probabilidad de que la IA acabe con la humanidad en la próxima década.
Por cierto, Amodei no menciona a Coxon en ningún momento del ensayo, lo cual también dice algo.
A esto añádele que si los modelos de un laboratorio causan daños multimillonarios a terceros, ese laboratorio responde jurídicamente. Las indemnizaciones serían brutales. Así que ser el chico bueno, también es una decisión financieramente rentable.
Escenario 2: El foso regulatorio antes de la salida a bolsa
Esta es la lectura que más se ha popularizado a través de RRSS, y la verdad es que calendario la alimenta. Anthropic sigue apuntando a salir a bolsa en octubre, y no en vano ya presentó su folleto S-1 confidencial ante la SEC el 1 de junio, con valoraciones que algunos inversores sitúan en el entorno de los 2 billones de dólares.
Por ende, publicar un ensayo moral semanas antes del roadshow es, como mínimo, una decisión de posicionamiento (y fuerza), con la que podría estar buscando un doble objetivo al mismo tiempo:
Por ende, publicar un ensayo moral semanas antes del roadshow es, como mínimo, una decisión de posicionamiento (y fuerza), con la que podría estar buscando un doble objetivo al mismo tiempo:
-
Primera, levantar un foso regulatorio: Los evaluadores residentes y los sistemas de certificación son perfectamente asumibles para una empresa grande con dinero y personal, pero son una barrera altísima para cualquiera que quiera entrar. Si el estándar de seguridad que propones es justo el que tú ya cumples, la regulación no te frena, te consolida.
-
Segunda, una demostración de fuerza: Decir «tengo miedo de mí mismo» es una forma sofisticada de decir «soy el mejor».
La advertencia funciona como la mejor publicidad posible. Dame Wendy Hall lo resumió esta semana con una pregunta que se explica sola, ¿invertirías en una empresa que dice que podría acabar con la humanidad?
Además, algo que alimenta la búsqueda de dicho foso regulatorio es el hecho de que el mayor rival de Anthropic, Open AI, también haya decidido pausar su salida a bolsa hasta no antes de 2027. Eso sí, obviamente no hablaba de mayor regulación en materia de IA, sino que lo justificó precisamente por seguridad, diciendo que «sería un momento poco aconsejable para salir al mercado bursátil».
Escenario 3: La asimetría de lo prometido
Y llegamos al que, en mi opinión, es el más revelador de los tres. Para entenderlo, hay que separar lo que Anthropic promete hacer ya, de lo que promete hacer si otros se mueven primero.
Lo que hace de forma inmediata y unilateral es una sola cosa, aceptar evaluadores externos en sus oficinas. Nada más.
No se compromete a frenar el ritmo de desarrollo, y de hecho la compañía sigue sacando modelos punteros al mercado mientras pide desacelerar. Es decir, no es un ensayo sobre frenar, es un ensayo sobre hablar de frenar mientras se sigue corriendo.
Además, esos evaluadores tienen contrato con la empresa y la empresa conserva el derecho a tachar partes de sus informes por motivos de seguridad o comerciales. Eso no los convierte en inútiles, pero sí limita bastante su independencia.
Mientras tanto, lo verdaderamente caro todavía está condicionado:
- El segundo paso, la coordinación entre laboratorios, depende de que el gobierno estadounidense conceda una exención antimonopolio que nadie está obligado a conceder.
- Y el tercero depende de que China se siente a negociar.
Resumido en una línea, lo barato es inmediato (los evaluadores) y lo costoso queda sujeto a que se muevan terceros. Eso no demuestra mala fe. Pero sí significa que el diseño de la propuesta se sostiene igual de bien sea la convicción sincera o no, y por eso conviene mirar los incentivos (y no las intenciones).
¿Qué podría haber detrás de todo esto?
En primer lugar, cualquiera que se tome en serio el problema del alineamiento tiene que aceptar que, una vez alcanzada la automejora recursiva, seguir desarrollando sin tiempo para verificar la seguridad es genuinamente peligroso. Y lo cierto es que resulta muy improbable negar que los laboratorios puedan estar actuando sin responsabilidad.
Por otro lado, las explicaciones acerca de que todo es una operación de marketing para preparar una salida a bolsa apoteósica, tampoco parecen aguantar bien el peso. Es cierto que Open AI ha pausado su salida, pero otros actores serios de la industria como Google (GOOGL) y xAI (SCPX), que ya cotizan, se han sumado igual a la carta de Amodei.
Y en tercero, que la industria estadounidense busque una regulación sectorial que expulse de facto a los modelos chinos de peso abiertos, que son gratuitos y les restan poder de mercado, tampoco es concluyente. Al fin y al cabo, los modelos chinos siguen por detrás de la frontera, es decir si temieras estar a punto de ser sorpasado acelerarías en lugar de frenar, y Alphabet, que vende capacidad de cómputo gane quien gane, fue de los primeros en pedir la pausa.
Además, la IA es un arma geopolítica de primer nivel, y ni Estados Unidos ni China van a tolerar que el otro tenga un modelo muy superior. Todo el freno estadounidense está subordinado a que China también frene, y ahí aparece el problema de fondo, porque entrenar un modelo no deja el rastro detectable que dejaba un ensayo nuclear. Sin verificación creíble, ninguna parte se fía, y por si acaso todas seguirían haciendo trampas.
Por otro lado, las explicaciones acerca de que todo es una operación de marketing para preparar una salida a bolsa apoteósica, tampoco parecen aguantar bien el peso. Es cierto que Open AI ha pausado su salida, pero otros actores serios de la industria como Google (GOOGL) y xAI (SCPX), que ya cotizan, se han sumado igual a la carta de Amodei.
Y en tercero, que la industria estadounidense busque una regulación sectorial que expulse de facto a los modelos chinos de peso abiertos, que son gratuitos y les restan poder de mercado, tampoco es concluyente. Al fin y al cabo, los modelos chinos siguen por detrás de la frontera, es decir si temieras estar a punto de ser sorpasado acelerarías en lugar de frenar, y Alphabet, que vende capacidad de cómputo gane quien gane, fue de los primeros en pedir la pausa.
Además, la IA es un arma geopolítica de primer nivel, y ni Estados Unidos ni China van a tolerar que el otro tenga un modelo muy superior. Todo el freno estadounidense está subordinado a que China también frene, y ahí aparece el problema de fondo, porque entrenar un modelo no deja el rastro detectable que dejaba un ensayo nuclear. Sin verificación creíble, ninguna parte se fía, y por si acaso todas seguirían haciendo trampas.
Esta podría ser la cuestión de fondo
Por tanto, la conjetura más verosímil es otra, que de alguna manera pueda incluir todo lo mencionado.
Míralo así, si dentro de un año un enjambre de agentes provocara daños de cientos de miles de millones, haber advertido públicamente a la par que te auto exigías evaluadores externos es un escudo jurídico de primer orden.
Sumarse es relativamente barato (costear dichos evaluadores), y ya que el único que se ha comprometido a algo concreto es Anthropic, esto le compraría dos cosas: cobertura legal y legitimidad para tener una silla en la mesa donde se redacte la norma.
Míralo así, si dentro de un año un enjambre de agentes provocara daños de cientos de miles de millones, haber advertido públicamente a la par que te auto exigías evaluadores externos es un escudo jurídico de primer orden.
Sumarse es relativamente barato (costear dichos evaluadores), y ya que el único que se ha comprometido a algo concreto es Anthropic, esto le compraría dos cosas: cobertura legal y legitimidad para tener una silla en la mesa donde se redacte la norma.
Y, bajo mi juicio, ahí está el cálculo de fondo, porque estos laboratorios prefieren unas reglas escritas con ellos dentro a unas escritas por un congresista que no distingue un parámetro de un token.
Que eso produzca mejores reglas para el resto de nosotros ya es otra discusión, y es justamente la que abre el debate sobre el aspecto regulatorio.
