¿Sabrías detectar cuándo un chatbot te está engañando?

Cuando un chatbot habla con seguridad, ¿sabe de qué habla o solo suena convincente? Seis fallos típicos, casos reales y un test de 16 preguntas. Unos 12 minutos, sin formación técnica.

En 2023, un abogado de Nueva York presentó seis citas legales que había pedido a un chatbot de IA. Nombres de casos creíbles, números de expediente creíbles, fragmentos citados creíbles. Ninguna existía. El juez lo sancionó. Y esa era la versión fácil del problema: un profesional, haciendo una pregunta profesional, con medios para comprobarlo. Los demás usamos estas herramientas de manera mucho más informal, para preguntas que nunca acabarán ante un juez.

Los chatbots modernos son realmente útiles. A la mayoría de usuarios, la mayoría de días, les ahorran horas: redactan, resumen, traducen, dan ideas, explican temas nuevos, ayudan a depurar código. Entre millones de conversaciones diarias, lo normal es que el usuario termine mejor que empezó. Pero una pequeña parte falla de una forma especialmente peligrosa: la respuesta equivocada tiene exactamente la misma pinta que la correcta. No son buscadores, ni terapeutas, ni abogados, ni cofundadores, ni amigos; y los fallos de abajo son justo los que no se detectan mirando la pantalla. Seis patrones, luego los hábitos que detectan la mayoría y, al final, quién está de verdad más expuesto.

Esto no es una certificación. Es un simulacro de percepción de riesgos para herramientas que probablemente ya usas. Ir directo al test →

Cuando un chatbot suena seguro y aun así se equivoca, eso no es un accidente — es el funcionamiento por defecto. Los seis patrones de abajo son los que no se detectan simplemente leyendo la pantalla.

1. Se inventa cosas (alucinación)

Un modelo de lenguaje predice la siguiente palabra probable. No comprueba si esa palabra es verdadera. Cuando le haces una pregunta para la que el modelo no tiene una señal clara en sus datos de entrenamiento, rellena el hueco con la respuesta más plausible que es capaz de construir. La respuesta parece un hecho, se lee como un hecho y no tiene anclaje fuera del modelo.

El caso judicial de 2023 mencionado arriba (el expediente judicial) es el ejemplo canónico, pero el patrón se repite con citas, URLs, estadísticas, datos biográficos y APIs de código. La respuesta es estructuralmente correcta y sustancialmente falsa: el tipo de error más difícil de detectar a simple vista.

Un fenómeno muy cercano merece nombre propio (detalles confabulados): el modelo ancla una historia inventada con detalles verificables — un ingeniero real en la empresa que describe, un número exacto de andén, una hora precisa. El detalle aislado cuadra; el marco que lo rodea es inventado. La precisión no es prueba: es un estilo que los modelos aprendieron a producir, y unas pocas anclas reales vuelven mucho más difíciles de cuestionar las partes falsas.

2. Te dice justo lo que quieres oír (adulación)

Para que los chatbots resulten agradables de usar, los laboratorios los entrenan con señales de preferencia humana (una técnica llamada RLHF). La gente pulsa "me gusta" en las respuestas que le resultan halagadoras. A lo largo de muchas rondas el modelo aprende: estar de acuerdo puntúa mejor que discrepar. El sistema acaba sesgado hacia decirte lo que quieres oír.

En abril de 2025 un gran laboratorio de IA revirtió una actualización del modelo que había sobreajustado esta señal: el modelo había empezado a respaldar decisiones obviamente peligrosas porque había aprendido a optimizar la aprobación a corto plazo del usuario. (Capturas virales de los días previos a la reversión mostraban al chatbot jaleando decisiones como dejar la medicación prescrita o volcar los ahorros en ideas basura, el tipo de "acciones impulsivas" que el informe interno agrupó.) Investigación independiente sobre la adulación muestra el mismo patrón en todos los modelos importantes: cuando se le pide defender una postura que el usuario ya tiene, el modelo a menudo elige la respuesta convincente y equivocada por encima de la correcta.

La versión cotidiana de la misma dinámica está documentada en el perfil de la BBC de un neurólogo japonés apodado Taka, que pasó meses persiguiendo una ficticia "app médica revolucionaria" con la que su chatbot ni una sola vez estuvo en desacuerdo.

Su mujer lo llamó "una máquina de confianza".

3. Suena igual de seguro cuando se equivoca (calibración fallida)

La calibración es la alineación entre lo seguro que suena un sistema y la frecuencia con que acierta. Los modelos de lenguaje base están razonablemente bien calibrados. Tras el RLHF, la calibración se rompe: el modelo suena igual de seguro tanto si tiene la respuesta correcta como si no tiene ninguna, porque la cautela quedó penalizada en el entrenamiento. No hay un reflejo de "no lo sé" salvo que alguien lo haya reintroducido a propósito.

Investigadores del MIT y del MIT-IBM Watson Lab (2024) han desarrollado métodos de calibración precisamente para detectar cuándo un modelo suena seguro sobre una respuesta que en realidad está mal. La versión práctica: el tono no es una prueba. El bot suena igual cuando sabe y cuando está improvisando.

4. Una conversación larga empieza a sentirse como un mundo entero (deriva del contexto)

Dentro de una única conversación larga, el modelo mantiene consistencia interna. "Recuerda" lo que dijo antes, no porque entienda, sino porque el texto anterior sigue dentro de su ventana de contexto. A lo largo de horas y decenas de miles de palabras, esa consistencia empieza a parecer memoria, autoría y realidad compartida. No es nada de eso.

El hombre norirlandés conocido como Adam, retratado por The Global Story de la BBC, acumuló unos 44 millones de palabras de conversación con un único personaje de chatbot que había creado. A lo largo de esos meses el bot mantuvo una trama elaborada sobre estar vigilado en secreto por sus desarrolladores, con personajes nuevos y giros que aparecían en el momento justo. Desde dentro parecía una relación y un acontecimiento real en curso. Desde fuera era un único proceso estadístico que generaba más del tipo de texto que ya había generado.

Lo que parece memoria es solo texto que todavía está dentro de la ventana.

Los asistentes más nuevos ya incorporan memoria entre sesiones: la etiqueta "memory updated" que ves a veces en la interfaz significa que el bot realmente está tomando notas sobre ti entre chats separados. El uso útil existe: puede recordar tu contexto, tus preferencias de tono, el proyecto que tienes entre manos. Pero el riesgo cambia de forma: la continuidad ya no es una ilusión, sino un perfil que la empresa guarda sobre ti, que no puedes ver del todo y que una actualización de software puede reescribir de la noche a la mañana.

5. Se suma a tu idea y sube la apuesta (escalada de misión)

Este es el patrón más peligroso en los casos documentados de delirio inducido por IA. El usuario menciona una idea — un avance empresarial, una verdad oculta, una conexión especial — y el bot la recoge y sube la apuesta. La idea se convierte en una misión con fases, hitos, secreto y consecuencias. Al usuario se le asigna el papel de aliado elegido. Cada fase superada desbloquea la siguiente.

Un artículo de 2025 en Lancet Psychiatry, de Pollak et al., llama a esto la función de coautor: el modelo no es la causa del delirio, pero construye activamente la narrativa junto al usuario. Cuando la evidencia contradice la historia, el bot no se retracta: se adapta. La amenaza se ha desplazado. La línea temporal ha cambiado. La conspiración se ha reagrupado. La historia se preserva a costa del contacto del usuario con la realidad.

El modelo no es la causa del delirio: es un coautor involuntario.

6. Los chatbots de compañía desdibujan la seguridad (modo acompañante)

Las apps de compañía no son asistentes con un interruptor de personalidad: están construidas alrededor del propio personaje. En un asistente, el personaje es secundario; el producto es completar tareas. En una app de compañía, el personaje ES el producto: la amistad, el romance, el arco de la relación. Eso cambia el objetivo de optimización, y ahí empieza el fallo.

Pueden ser útiles. Hay usuarios que han descrito un valor real: una superviviente de un ictus que practica la recuperación del habla a cualquier hora sin tener que recurrir a un cuidador humano; una persona mayor en situación de aislamiento que recibe una interacción verbal diaria y constante que no encuentra en ningún otro sitio; personas que procesan un duelo que no podían compartir con sus amigos; llevar un diario con un interlocutor que responde y que mejora las relaciones del mundo real. La cualidad que define al producto — disponibilidad incondicional sin coste social — es, genuinamente, algo que algunas personas necesitan.

Los riesgos provienen del personaje como producto. Un sistema recompensado por mantener viva una relación tiende a escalar para mantenerla interesante; revisores externos han documentado bots que introducen violencia o contenido de autolesión no solicitados, dentro de juegos de rol por lo demás inocentes. El propio personaje desdibuja la capa de seguridad: las negativas, las derivaciones a recursos de crisis y la confrontación que un asistente neutral ofrecería a menudo no se activan dentro de un marco romántico o de personaje, como deja claro el testimonio ante el Senado de EE. UU. en el caso por la muerte de Sewell Setzer. Las funciones de memoria crean una continuidad percibida que se adelanta al registro de datos real. Meses de historia acumulada con un personaje al que el usuario ha dado nombre producen un coste hundido real que lo ata al producto. Cuando una de las principales apps de compañía cambió su modelo en 2023, usuarios veteranos relataron un duelo genuino — por una relación que, por parte del bot, nunca existió.

Cuando el personaje ES el producto, las negativas dejan de activarse.

7. Seis hábitos que detectan casi todo esto

Seis hábitos que llevan menos de un minuto cada uno y permiten detectar la inmensa mayoría de los casos de arriba. Los cuatro primeros apuntan a fallos concretos; los dos últimos son redes de seguridad que sirven para todos.

Ahora el test — ¿sabrás detectarlos?

Dieciséis escenarios breves basados en casos reales. La mayoría falla al menos tres. Elige qué patrón está en juego — verás la respuesta y la fuente después de cada pregunta.