Por qué la IA generativa puede resultar muy convincente cuando se equivoca

¿Qué son las «alucinaciones» de la IA?

Uno de los mayores retos de la IA generativa (GenAI) no es que a veces cometa errores. Es que esos errores a menudo se presentan de una manera que suena pulida, plausible y segura. Estos sistemas ya se utilizan ampliamente para redactar, resumir, traducir, generar ideas y apoyar el trabajo diario, lo que hace que este tema sea cada vez más relevante en la práctica.

Eso es lo que la gente suele entender por alucinaciones: momentos en los que un sistema de IA produce una respuesta que suena pulida y plausible, pero que es falsa, carece de fundamento o simplemente es inventada. El Centro Común de Investigación (JRC) de la Comisión Europea ya ha destacado problemas de calidad en los resultados de la IA generativa, incluyendo alucinaciones, sesgos y dependencia excesiva, y ha subrayado la necesidad de salvaguardias y supervisión humana.

¿Por qué alucinan los sistemas de IA generativa?

La IA generativa está diseñada para crear nuevos textos, imágenes, código, audio o video que se asemejen a los datos con los que fue entrenada. En términos técnicos, estos modelos aprenden patrones y distribuciones de probabilidad en los datos y luego generan nuevas muestras a partir de ellos. Eso es lo que los hace tan útiles y versátiles. También es la razón por la que pueden producir resultados fluidos sin ninguna garantía incorporada de que una afirmación específica sea correcta.

Por lo tanto, cuando un modelo da una respuesta incorrecta, por lo general no está «inventando» en el sentido humano. Está haciendo lo que fue diseñado para hacer: generar el resultado que mejor se ajusta a los patrones que ha aprendido de datos anteriores. Si la pregunta es ambigua, el contexto es escaso o el modelo no tiene acceso a las fuentes adecuadas, puede llenar el vacío con algo que suene correcto en lugar de algo que sea correcto. Visto de esa manera, una alucinación se parece menos a un engaño deliberado y más a una predicción estadística que se adelanta a la verificación.

¿Por qué son un riesgo las alucinaciones?

Porque la fluidez genera una falsa confianza. Una respuesta débil escrita en un lenguaje incorrecto es fácil de cuestionar. Una respuesta errónea escrita en un tono tranquilo y autoritario es mucho más difícil de detectar. Por eso las alucinaciones no son un pequeño defecto técnico; son un verdadero problema de confiabilidad y gobernanza. La Ley de IA de la UE refleja exactamente esa preocupación al poner énfasis en la precisión, la solidez, la transparencia y la supervisión humana para los usos de mayor riesgo de la IA.

En entornos regulados y con gran cantidad de evidencia, «mayoritariamente correcto» simplemente no es un estándar lo suficientemente sólido.

Ejemplos reales de errores de IA

 
Ya hay ejemplos de esto en entornos profesionales serios. En 2025, Deloitte Australia admitió que una revisión de garantía contratada por el gobierno del Marco de Cumplimiento Específico del país contenía referencias y citas inventadas generadas con Azure OpenAI GPT-4o y acordó proporcionar un reembolso parcial. El problema no era que el informe pareciera poco profesional. Era que parte de la evidencia en la que se basaba era inventada. Eso es exactamente lo que hace que las alucinaciones sean difíciles de detectar: el error puede estar oculto dentro de un trabajo que, por lo demás, parece creíble. En este caso, los problemas fueron detectados por un revisor humano, el académico australiano especializado en bienestar social Chris Rudge.

En el ámbito de la salud y el sector farmacéutico, lo que está en juego es aún mayor. Un estudio publicado en BMJ Quality & Safety, una revista revisada por pares centrada en la calidad de la atención médica y la seguridad del paciente, examinó las respuestas de un chatbot impulsado por IA a preguntas de pacientes sobre medicamentos comúnmente recetados. Si bien muchas respuestas eran en general precisas, los expertos consideraron que el 66 % de un subconjunto de respuestas inexactas era potencialmente dañino, y el 22 % potencialmente grave o incluso mortal si se seguía. En entornos regulados y con gran cantidad de evidencia, «mayoritariamente correcto» simplemente no es un estándar lo suficientemente sólido.

Por eso esto es importante para sectores como el farmacéutico, los asuntos médicos y la I+D. Si una herramienta de IA genera una referencia inventada, tergiversa la evidencia o da una interpretación segura pero incorrecta, el problema no es solo una redacción deficiente. Se convierte en un problema de credibilidad científica, un riesgo de cumplimiento y, potencialmente, un problema de seguridad del paciente. En términos más generales, el JRC ya ha advertido que la IA generativa plantea riesgos transversales en torno a la desinformación, la confianza y la calidad de la toma de decisiones cuando las personas confían en ella demasiado rápido.

¿Deberíamos dejar de usar la IA generativa?

La buena noticia es que esto no es una razón para dejar de usar la IA generativa. Es una razón para usarla de manera más deliberada. Cuando los hechos importan, los resultados deben basarse en material de fuentes confiables en lugar de generarse únicamente a partir de la memoria del modelo. Igualmente importante es que las organizaciones deben hacer que las personas se hagan responsables del resultado final. La pregunta más útil suele ser la más simple: ¿Cuál es la fuente de esto? Si esa pregunta no puede responderse con claridad, el resultado no debe tratarse como evidencia. Esto es particularmente cierto en la comunicación con los clientes, el trabajo legal, la redacción científica, el material regulatorio y el apoyo a la toma de decisiones.

Aun así, sigue siendo una herramienta extraordinaria. La IA generativa tiene un potencial significativo para mejorar la innovación y la productividad en todos los sectores. Pero es útil aplicar un poco de pensamiento crítico a sus resultados y tratarla un poco como a ese colega demasiado seguro de sí mismo: a menudo útil, a menudo impresionantemente rápido, ocasionalmente brillante, pero no alguien a quien citarías ciegamente sin verificar primero la fuente.

Cómo usar la IA generativa de manera responsable

Por eso debemos encontrar el equilibrio adecuado. La IA generativa es poderosa, es útil, pero si queremos usarla de manera responsable, debemos ser honestos sobre una cosa: puede ser muy convincente cuando se equivoca.

PD. Yo revisaría la referencia si fuera tú.
*Andrikyan W, Sametinger SM, Kosfeld F, et al Chatbots impulsados por inteligencia artificial en motores de búsqueda: un estudio transversal sobre la calidad y los riesgos de la información sobre medicamentos para pacientes BMJ Quality & Safety 2025; 34:100-109

Texto editado con la ayuda de M365 Copilot GTP 5.4