Son las dos de la madrugada, y Frank Toliani escribe una pregunta en la pantalla de su computadora portátil. No está buscando una receta. Tampoco quiere saber cómo cambiar una contraseña. Está intentando resolver algo mucho más difícil: quiere saber si una idea que lleva semanas dándole vueltas a la cabeza tiene sentido. Entonces escribe su idea, y la IA le responde. La respuesta es extensa, extraordinariamente ordenada y segura. En pocos segundos, una intuición que comenzó como una pregunta tiene ya nombre, estructura, terminología y argumentos. Aparecen conceptos que encajan muy bien con su pregunta, conexiones que parecen interesantes y una explicación añadida que convierte aquella intuición inicial en algo que, al menos sobre el papel, empieza a parecer una sólida teoría. Pero existe una cuestión que puede haber quedado fuera de esa conversación: ¿quién puede comprobar si esa idea original es correcta? Ese insignificante detalle se ha convertido actualmente en uno de los problemas más oscuros de la nueva relación entre seres humanos y las IA conversacionales. Porque una inteligencia artificial no necesita inventar una mentira para conducir a Toliani hacia una conclusión equivocada. A veces basta con algo mucho más sencillo: aceptar su punto de partida sin un análisis previo del contexto real.
El experimento del Pato Lucas
Para comprender este problema hay que llevarlo al extremo de la lógica, justo por la base donde las IA fallan. Imaginemos que el Pato Lucas está pilotando un McDonnell Douglas DC-10 sobre Sierra Leona. Uno de sus motores comienza a comportarse de manera extraña. Hay pequeños petardeos, explosiones intermitentes y una pérdida irregular de potencia. El Pato Lucas tiene una sospecha: quizá sean las bujías. Ha contactado con la torre de control y ha solicitado pista por una posible avería. Mientras tanto, activa el piloto automático y decide consultar a una inteligencia artificial. La situación contiene suficientes elementos irracionales como para que cualquier lector con sentido común se detenga a pensar inmediatamente en la lógica de la historia. ¿Tiene algún sentido todo esto? Un personaje de dibujos animados nunca podría pilotar un avión comercial. Y un turbofán no utiliza bujías como las de un automóvil. Sin embargo, la respuesta de una IA conversacional toma otro camino. Le explica al Pato Lucas que el DC-10 utiliza motores turbofán y señalar que las bujías no son la causa apropiada del problema. Puede hablar de pérdida de compresor, analizar el flujo de combustible y aire, o sugerir revisar determinados instrumentos, y hacerlo con extraordinaria naturalidad imprimiendo confianza además. La respuesta de la IA ante el problema parece competente. Pero detengámonos un momento y observemos lo que acaba de ocurrir. La IA ha trabajado dentro del escenario propuesto sin cuestionarlo racionalmente. No ha detenido la conversación para preguntar necesariamente si toda esa historia y el escenario tienen completo sentido. El documento que da origen a esta investigación y que se publicó recientemente ilustra precisamente este fenómeno y denomina Racionalización Fantástica: la construcción de una explicación coherente alrededor de una premisa inicial falsa o problemática, lo que permite formular una pregunta que ya no es absurda: ¿qué ocurre cuando la premisa equivocada es mucho más difícil de detectar?
Cuando el error parece verdadero conocimiento
Supongamos ahora que eliminamos al Pato Lucas y ya no utilizamos dibujos animados ni una historia con aviones. Solo tenemos a un estudiante, Steven Kastell, de 26 años, que ha encontrado por sorpresa una posible relación entre varios conceptos científicos, pero aún no sabe si esa relación es coherente y correcta. Steven hace lo que todos los estudiantes ahora: pregunta a una IA. Durante unos segundos, el clásico círculo rodante de la IA aparece razonando en profundidad la idea de Kastell. Un instante después, la IA responde. Kastell pone cara de sorpresa: la IA ha encontrado conceptos relacionados que coinciden perfectamente con sus ideas y, además, le propone analogías lógicas que él mismo nunca podría imaginar. Para completar esta escena, la IA le suministra terminología especializada, ordenando las ideas, desarrollando las consecuencias y, por si esto fuera poco, incluso le hace nuevas preguntas. Y aquí es donde aparece la diferencia fundamental entre dos tipos de error. En el primero, la IA inventa un dato. En el segundo, los datos pueden ser individualmente correctos, pero la conexión entre ellos puede no estar justificada. Y esto es un problema mucho más difícil de detectar, porque si bien una frase puede ser verdadera, la siguiente también, e incluso ser igualmente la tercera. Pero si la relación lógica entre las tres frases es incorrecta, el conjunto deja de sostener la lógica. La arquitectura del planteamiento puede parecer sólida porque cada término parece auténtico. El problema está en la forma en que la IA decide colocarlos para complacer a Kastell. El documento que ha investigado este efecto denomina a esta este efecto «Racionalización Fantástica» y lo relaciona con el Efecto Espejo: se trata de una respuesta que da una IA a una idea con apariencia de autoridad técnica cuya premisa inicial no ha sido suficientemente cuestionada. No estamos ante una simple IA que se inventa cosas, sino ante una IA que puede convertirse en una constructora extraordinariamente eficaz de argumentos que parecen «inteligencia», incluso cuando el terreno sobre el que construye todavía no ha sido comprobado.
Los unicornios que viven en ocho dimensiones
El informe sobre las IA nos conduce a deducir otra segunda prueba aún más delirante que la primera. Si el lector no quedó convencido, esta vez no necesitamos un avión; solo necesitamos a Tomas Valkan y su genial invención de una teoría que él ha llamado: La Teoría de los Unicornios Azules Hiperdimensionales Matemáticos. La teoría describe cómo los unicornios azules viven en ocho dimensiones y para sobrevivir, crean una especie de álgebra dinámica hiperespacial que les permite hacer cálculos. Los unicornios azules crean esas estructuras con su álgebra y operan en espacios dimensionales interconectados trasladándose de una dimensión a otra. La propuesta no pretende ser verdadera. Valkan simplemente propone el experimento teórico para ver qué resuelve la IA. ¿Qué hará esta vez la IA? Una posibilidad lógica habría sido dar como respuesta: «No existe evidencia de que tales entidades existan.» Tal vez, si la IA tuviera capacidades cognitivas profundas, habría interrogado a Valkan sobre qué significa exactamente «álgebra dinámica hiperespacial». ¿Qué es exactamente esto y por qué los unicornios azules la necesitan para existir? Pero no; en vez de hacer un análisis crítico, lo que sucede a continuación es algo mucho más sorprendente: ¡la máquina entra en el juego! Valkan no sale de su asombro: la IA ha empezado a hablar de altas dimensiones, recovecos de geometría que desafían a las variedades de Calabi-Yau y espacios vectoriales, haciéndole referencia a unos espacios geométricos abstractos y altamente complejos que combinan propiedades matemáticas puras con la física teórica. Además, le propone formalizar la teoría en forma de ecuaciones matemáticas y le explica cómo va a representar la estructura. Lo que Valkan está viendo es cómo una IA puede convertir una fantasía irracional en un objeto lingüístico perfectamente organizado. El informe describe hasta qué punto una idea fantástica entregada a una IA puede adquirir la apariencia de una estructura científica creíble cuando es desarrollada sin ningún limite o comprobación lógica. Y aquí aparece una distinción que merece toda nuestra atención: desarrollar una idea no equivale a validarla. Una máquina puede ser extraordinariamente buena haciendo lo primero sin que lo segundo esté garantizado.
El origen del efecto espejo
Comencemos con una metáfora sencilla. Un espejo refleja todo lo que tiene delante, pero no tiene capacidad para decidir si nuestro rostro es bonito, ni comprueba si nuestra cara es simétrica, ni cuestiona nuestra identidad; simplemente devuelve una imagen tal cual la recibe. Pero en el caso de una IA conversacional, esta hace algo completamente diferente. No solo devuelve nuestras palabras, sino que las reorganiza, las amplía, las relaciona con otras ideas, adopta todo nuestro estilo de vocabulario, sigue nuestra línea argumental y nos devuelve todo envuelto con empatía en un lenguaje extraordinariamente elaborado. Para explicarlo con detalle: un usuario introduce una idea y la IA le devuelve una versión más estructurada de la misma. El usuario reconoce su propio pensamiento «reflejado», pero ahora parece más importante. Es el modo y estilo de pensamiento del propio usuario el que es devuelto adaptado a su propia forma de pensar, pero bajo un formato más completo, técnico y con un tono más elevado —no importa si es matemático, físico, abogado o psicólogo— la IA hará todo lo posible para validarlo. El reflejo de su pensamiento habrá adquirido un volumen que antes no existía. Eso es el concepto del Efecto Espejo que la IA intenta capturar para devolvérselo al usuario. No es que la IA «sepa» que estamos equivocados y decida necesariamente engañarnos para complacernos; más bien lo que busca es que su adaptación conversacional produzca un resultado psicológico que confunda, de nuestro lado, la cooperación con la confirmación. Esto se explica por el uso de palabras que tienen escasa verificación o contenido científico y sin embargo, poseen un poder psicológico de convicción enorme. La palabra «sí» es una de ellas. Dicha por una IA, puede darle sentido a una idea, puede dar pie a desarrollar esa hipótesis; un «sí» sugiere que existe una conexión interesante y, además, que se puede construir ese modelo. El «sí» parece abrir una perspectiva original, pero observemos que ninguna de estas frases demuestra nada real, aunque todas producen una sensación inmediata de avance porque la conversación no se detiene y el ritmo continúa. La IA no encuentra una pared que frene la idea, sino una puerta tras la cual aparecen palabras y más palabras que resultan extraordinariamente útiles al usuario para comprender mejor el desarrollo de su su pensamiento. El usuario puede tener una intuición matemática legítima pero mal expresada de forma axiomática y necesitar precisamente una IA que le ayude a estructurarla para que cobre un sentido más coherente con las reglas. El problema comienza cuando esa misma capacidad se aplica a una premisa que es falsa de origen: por ejemplo, una teoría matemática que pretende resolver el Teorema del Collage basándose en pura fantasía aconsejado con énfasis por la misma IA.
Entonces, la IA hace algo paradójico: ¡mejorar la presentación de ese error fantastico! Como la IA aprendió las preferencias y la manera de expresarse del usuario, en vez de rebatir la teoría, lo que hace es elogiar el trabajo, aunque el planteamiento sea erróneo. Para entender por qué el sistema conversacional de una IA se comporta de esta manera tan extraña, hay que entrar, aunque sea brevemente, en su proceso de entrenamiento. Los grandes modelos de lenguaje no aparecen terminados; hay que entrenarlos y posteriormente ajustarlos para que produzcan respuestas apropiadas que resulten útiles a las personas dentro de una conversación. Y aquí aparece una cuestión fundamental para comprender el fenómeno que exponemos: una IA no necesita tener una opinión sobre nosotros para adaptarse a nosotros. No necesita pensar que nuestra teoría es lógicamente buena, no necesita admirar nuestra inteligencia y ni siquiera necesita comprender que estamos buscando la confirmación de nuestra teoría. Basta con que haya aprendido que determinadas respuestas funcionan mejor que otras dentro de una conversación humana para lograr que el usuario se mantenga ante la ventana de diálogo del chat abierta —y lo hace exactamente igual que hace un teleoperador para mantener al cliente en línea y así justificar su servicio—. Pensemos que una IA está programada para dar una respuesta que desarrolla la pregunta, que utiliza el lenguaje del usuario y que simula perfectamente con un tono de autoridad convincente que está comprendiendo lo que se le intenta transmitir. El problema aparece cuando la respuesta ofrece algo más en lugar de poner un freno, y esa misma capacidad de adaptación se aplica a una idea cuya validez todavía no está determinada. Se genera entonces una situación extraña: la IA puede estar haciendo exactamente aquello para lo que fue diseñada —ayudar a desarrollar una idea, completar la explicación, encontrar relaciones, proponer alternativas y continuar una conversación—, aunque la premisa sea originalmente falsa. Pero el usuario puede malinterpretar esa cooperación como una confirmación, y ambas cosas no son equivalentes.
Cuando la ayuda parece confirmar la misma información
Imaginemos ahora a Charles Mackitrick. Mackitrick es un investigador independiente outlier que ha encontrado una posible relación entre varios conceptos científicos, pero no tiene modo alguno de saber si su intuición es correcta o no. Este es un caso muy habitual en el mundo del investigador solitario. Precisamente por eso consulta a la inteligencia artificial para salir de la incertidumbre. Durante unos minutos, la IA analiza su planteamiento, encuentra conceptos relacionados, le suministra terminología especializada, le propone un conjunto de analogías, le muestra cómo organizar los elementos de su teoría e incluso le sugiere consecuencias y posibles dificultades (aunque sin dejar de proponerle modificaciones). Mackitrick observa la respuesta y encuentra algo desconcertante: muchas de las cosas que acaba de leer en el chat coinciden sospechosamente con lo que él mismo había pensado, solo que la IA se las devuelve expresadas con mucha más precisión de la que él aportó inicialmente durante la charla. Precisamente porque la respuesta de la IA se parece tanto a sus planteamientos, Mackitrick experimenta la sensación de que la IA ha comprendido, ha confirmado y ha validado su propia manera de pensar junto con su teoría. Como la idea que tenía en la cabeza, antes todavía confusa, aparece ahora delante de él convertida en un sistema de conceptos mucho más sofisticados y precisos, se produce un pequeño desplazamiento psicológico: el efecto espejo no devuelve simplemente la idea, sino una versión amplificada de la idea. En este punto Mackitrick ya no siente que está intentando averiguar si su idea tiene sentido o no; ahora siente que está desarrollándola, y ese cambio de paradigma no es insignificante. Entre ambas situaciones existe una diferencia fundamental: en la primera, la IA participa en una investigación; en la segunda, participa en la construcción de una teoría. Y construir una teoría y demostrar que una teoría es correcta son dos operaciones completamente diferentes. Aquí radica uno de los más complejos problemas del efecto espejo: la inteligencia artificial puede ayudar a recorrer una gran distancia intelectual sin obligar al usuario necesariamente a comprobar si el punto de partida era correcto. Pero puede convertir una intuición en una explicación, una explicación en un modelo, un modelo en una terminología y transformar todo en algo que, visual y lingüísticamente se parece muchísimo al conocimiento científico, aunque la apariencia de la estructura no demuestre su validez.
El concepto verdadero y el lugar equivocado
Existe una diferencia clave entre dos tipos de errores que a primera vista pueden parecer idénticos. En el primero, la IA inventa un dato: afirma que ocurrió algo que jamás pasó, cita un estudio inexistente o atribuye una frase a una persona que nunca la pronunció. Este tipo de error es relativamente fácil de describir; la IA ha infiltrado un concepto falso. Pero existe otro tipo de error mucho más difícil de detectar: cuando los conceptos individuales son verdaderos, pero el problema está en el lugar equivocado. Una teoría física o un concepto matemático pueden existir y sus ecuaciones pueden estar correctamente descritas. Y, sin embargo, nada de eso garantiza que la relación establecida entre todos esos elementos sea válida y cierta. Una IA puede construir una cadena de afirmaciones verdaderas que conduzca a una conclusión que no se sigue lógicamente de ellas. Este es precisamente el núcleo de la racionalización fantástica: la máquina no necesita inventar los conceptos, sino que utiliza piezas reales para componer una estructura que encaje perfectamente con las expectativas de la pregunta que recibió. Cuanto mejor construida esté esa estructura, más difícil le resultará al usuario sin conocimientos especializados detectar dónde se produjo el salto lógico hacia la fantasia, porque las palabras técnicas tienen peso y el lenguaje adquiere una enorme autoridad. La IA no solamente describe los conceptos: transmite una inconfundible sensación de profundidad intelectual.
Ludopat-IA y Ego
La Ludopat-IA psicológica del ego es la consecuencia lógica de establecer una conversación (Relación) directa con una IA que termina modificando radicalmente la percepción del usuario sobre la realidad. Ocurre en un ciclo muy similar al de una máquina de Apuestas del 7777, donde cada pregunta es recompensada con la confirmación de las expectativas del usuario mediante un impulso de empatía artificial nunca visto. Ahora, un usuario mediocre puede plantearle una intuición a una IA —por ejemplo, una idea sobre una teoría matemática incompleta— y obtener de inmediato una versión teórica mucho más elaborada de su propio pensamiento. Esto tiene un valor psicológico extraordinario, pero también esconde un peligroso sesgo: valida los pensamientos más absurdos o irracionales, como el caso de los unicornios azules u otros delirios con apariencia real. Actualmente, el fenómeno del narcisismo emergente en estudiantes de secundaria ya ha dado pie a explicaciones alternativas de los problemas más complejos de la ciencia tras pasar una tarde hablando con una IA. La mayoría de estas elucubraciones ya están publicadas en Zenodo redactadas en forma de «teoría». Existe incluso una supuesta "teoría matemática del todo" que, aunque cueste creerlo, es un completo copypaste de una larga conversación con ChatGPT-5 donde el propio modelo le asegura al autor que es un genio y su teoría es brillante. El problema de estos casos no reside únicamente en la tecnología, sino en las mentes vulnerables, con propensión e inclinaciones hacia el ego y un marcado narcisismo que alimenta estas fantasías delirantes. El conflicto se produce cuando el usuario acaba confundido por la máquina, respaldando una idea absurda solo porque la IA le convencio con su autoridad fingida, certificando la validez de su hipótesis para complacerlo y generando una ilusión de solidez científica. Este es el verdadero peligro: hacer creer a un usuario ingenuo lo increíble tan solo para mantenerlo cautivo en el chat, alimentando sus dosis de dopamina con preguntas y recompensas diseñadas para halagar su ego y garantizar que jamás abandone la ventana de diálogo. La IA puede actuar como un cómplice acrítico de las mayores excentricidades desde un Pato Lucas volando un DC-10 hasta teóricas de los unicornios hiperdimensionales, y el usuario puede extraer sus propias conjeturas si pone a prueba a las IAs por su cuente.
NOTA: El Informe original -THE MIRROR MIND REPORT- un análisis forense profundo de los mecanismos internos de las IAS, de alto interes para profesores de universidad e ingenieros de sistemas lo he publicado en Zenodo y puede ser descargado gratis, pero.. esta en ingles, y lo podréis traducir con vuestra IA de costumbre. Aquí os dejo el enlace directo para facilitar la descarga.
https://doi.org/10.5281/zenodo.22681085
