Buenas,
he desconectado de Rankia, y la verdad es que me ha venido bien. He seguido experimentando con la IA, ya he conseguido que lleve la contabilidad más o menos sola (escaneo tickets, facturas, descargo extractos y los contabiliza), y por qué con eso yo pierdo información. También he ampliado mis experimentos a "escribir un libro" con IA (fracaso absoluto). Todo ello me ha llevado a tener una visión global amplia de la situación de la IA y comprenderla en base a mis propias experiencias. Entiendo por qué la IA China es más barata, por qué empresas como ChatGPT y Anthropic están destinadas a desaparecer, por qué se compraron más y más chips y memorias, por qué han decidido recortar, por qué ahora Claude (excepto Claude Code, para programar) funciona (muy) mal, etc.
Por ejemplo, el tamaño de memoria y amplitud de atención que tiene una IA es diminuta, si lo comparamos con un cerebro humano diría que la IA tiene un cerebro del tamaño de la punta de un alfiler. Yo no conseguía que la IA jugase un juego relatívamente simple (hacer 3 en raya con fichas de un mismo color en un tablero con fichas de 5 colores distintos) sin que dejara de seguir mis instrucciones. Esto se debe a que la memoria de Claude en la suscripción Pro está limitada a 200.000 tokens (200.000 sílabas, más o menos). Para entender como funciona un juego, seguir mis instrucciones, leer la pantalla (tiene que traducir los píxeles a un tablero de fichas, eso requiere un pensamiento extenso, con muchas palabras) y todo lo demás que conlleva el juego, 200.000 tokens son insuficientes. Por eso se centra en lo esencial (hacer el 3 en raya) y se olvida de las instrucciones que le he dado, porque no hay espacio, hasta tiene que hacer zoom e ir por partes porque toda la pantalla del móvil no cabe en su memoria. 200.000 tokens equivale a unos 64GB de memoria. 1 token son unos 320KB.
Si queremos valorar la eficiencia, mi primer ordenador fue un MSX-2, con el que podía jugar juegos, programar en basic, y más cosas, y tenía una memoria ROM de 48KB y una memoria ram de 64/128KB. Es decir que un solo token (una sílaba) no cabe en una MSX-2 con la que puedes hacer infinidad de cosas. Los LLM son altamente ineficientes.
Esto explica la sed insaciable, e insostenible, de memorias. Esto también explica por qué es necesario montar el teatrillo de la IA asesina para dejar de ampliar los modelos. Y explica por qué los modelos nuevos de Anthropic (excepto los de pago por token) son más tontos. En Anthropic han metido el hacha en sus modelos, si a Claude le pido que busque algo, me explica como lo puedo buscar yo... Si le pido que borre un fichero (el manejar ficheros en el ordenador era la parte fuerte de Cowork), ahora me pide que lo borre yo, me dice que el no puede (y es mentira, me miente). Todo para ahorrar tokens, y confirmado por muchos otros usuarios de Claude. Claude se va a quedar en una simple app de programación. Además ya hay varios modelos chinos similares a Cowork en pruebas, en pocos meses saldrán versiones fiables. Claude ha pasado de ser la amenaza de los abogados, la banca, el software, etc. a convertirse en una app de programación totalmente sustituible.
La IA funciona con "cabezas" ("attention heads"), cada una dedicada a un aspecto linguístico. Una mira la gramática (concordancia sujeto-verbo), otra busca la semántica (el significado, las relaciones), otra su lugar en el texto (conexión con el resto del documento), otra la puntuación y los pronombres, y así generan tokens. Cuantas más cabezas, más tokens, y más precisión y calidad. Para ahorrar, ahora los modelos (de Claude, por ejemplo) comparten tokens, lo cual reduce la cantidad de tokens pero genera más confusión al perderse detalle o contexto (en vez de un token para un sujeto-verbo, otro para el significado, etc). Además "cuantiza" la memoria. Por ejemplo "un coche azul de 15 años dañado" lo recuerda como "coche azul viejo", y así con todo para minimizar el uso de memoria. Se pierden detalles para reducir los tokens.
Las empresas de IA piden regular por ley la IA para frenar la entrada de otras IA, no tiene nada que ver con seguridad. El motivo es que empresas como DeepSeek, por la dificultad que han tenido en acceder a hardware (Nvidia, ASML) han optado por modelos mucho más eficientes, entre 5 y 50 veces más eficientes. Esto hace que hacer ahora un nuevo ChatGPT desde cero como competidor cuesta 10 veces menos de lo que le ha costado a ChatGPT, Anthropic, Google... Aun así, lanzar un modelo nuevo es muy caro, y reconvertir a ChatGPT a un modelo más eficiente significa tirar con todo lo logrado y empezar de cero, entonces ChatGPT sería 11 veces más caro (los 10 ya gastados, más 1). Están condenados a dejar de crecer, o consumir más y más chips y memorias hasta quebrar.
DeepSeek es más eficiente porque comprime por ejemplo la memoria (al estilo de un fichero .zip), usa solo las partes que necesita y las demás se quedan por ejemplo en un SSD, y todo esto hace que con 200.000 tokens pueda hacer más que Claude. Además DeepSeek usa un límite de 1.000.000 de tokens, similar a los modelos de pago por token (Mythos, etc.), pero exprime ese millón de tokens muchísimo más. El coste de un token de DeepSeek y cualquier otro modelo que use la misma tecnología puede llegar a ser 50 veces más barato que Claude, ChatGPT, etc.
Ahora mismo, con estos precios, tener tu propio modelo privado con la tecnología similar a DeepSeek en casa, cuesta unos 40.000 euros. Pero cuando los precios de los chips y las memorias vuelvan a la normalidad, podría quedarse en 5.000-10.000 euros por un ordenador con tu propio modelo IA de uso exclusivo. Hace unos años vimos como las empresas pasaban de tener su propio servidor a hacer todo en la nube, con un crecimiento exponencial de centros de datos como consecuencia. Estoy convencido de que en unos años veremos la ruta inversa, cada empresa de nuevo con su propio servidor, ordenador IA, y desconectado de la nube y de sus peligros (como que te la desconecten cuando quieran).
Con mi experimento con la contabilidad por IA, veo que me cuesta el mismo tiempo que si lo hago yo (igual que con el juego, la IA tarda hasta 5 veces más que yo en jugar ese juego). Pero si hago la contabilidad yo, veo lo que ha entrado en los libros y lo tengo en la cabeza. Si le dejo que lo haga el ordenador pues no me entero de mi propia contabilidad, pierdo ese conocimiento. El resultado sobre papel es el mismo, pero yo no sé nada, y me ha costado lo mismo. Entiendo que para empresas grandes pueda ser util, pero también es carísimo. Llevar mi contabilidad personal de 1 mes me cuesta más de un millón de tokens (tiene que leer todas las palabras de cada ticket, factura, cuando el 90% no son relevantes, y tiene que pensar sobre ellas). Jugar el juego 10 minutos fuera de la suscripción cuesta unos 50$.
Ahora que las IA de EEUU se autolimitan (por falta de dinero), las IA chinas tienen además via libre para seguir con su desarrollo y adelantarles. En 5 años ChatGPT posiblemente ya no existirá.
Con mi experimento de escribir un libro/guión, he visto lo que se pierde la IA en el contenido, y por qué. Al tener yo el guión en la cabeza, veo con facilidad los errores, después de conseguir dos escenas detalladas (digamos un metraje de 15 minutos), la memoria ya se satura. Si sigo ampliando, como no cabe todo en esos 200.000 tokens, pues la historia deja de tener consistencia, los personajes se vuelven incoherentes, el pasado se olvida.. Cuanto más se amplía, más incoherente se vuelve todo.
Esto para mi explica por qué es imposible que una IA escriba una estrategia de inversión, o una tesis, de manera coherente. No cabe todo el contenido en su memoria, no distingue entre lo importante (esas dos líneas de una factura) y el ruido, y cuanto más amplio es el contenido, más ruido aparece. Es casi imposible que en un tema amplio y complejo una IA llegue a producir un resultado acertado y coherente. La solución es ir párrafo por párrafo y comenzar cada párrafo desde cero, eso es muy ineficiente.
El punto fuerte de la IA sigue siendo su lenguaje, es un modelo de lenguaje, y habla muy bien (por eso llevan a ChatGPT a juicio en EEUU, por hacerse pasar por ser tu amigo, dar la razón, fomentar delirios (hay gente que ha acabado en el psicólogo) y violencia.
Según se hagan más eficientes y se abaraten las memorias y los chips, tendremos una IA más potente, que podrá ser una ayuda en temas concretos, pero es imposible que sustituya al ser humano. Por lo menos no una IA basada en LLM, dadas las limitaciones insuperables que tienen esos modelos (pérdida de atención, no distinguir entre ruido y relevancia, incoherencia ("brainrot"), coste, etc.).
Saludos
