Alucinación

Una alucinación es una respuesta de un LLM que suena plausible y bien construida pero es falsa: un nombre de persona inventado, una cita que no existe, un dato numérico fabricado, una referencia bibliográfica imaginada. No es un bug del modelo: es una consecuencia directa de cómo funciona. Un LLM no "sabe" cosas, predice tokens probables; si el prompt invita a producir contenido sobre algo de lo que tiene poca información, completará con material consistente pero no necesariamente verídico.

Las alucinaciones son el principal obstáculo para llevar IA generativa a producción en sectores serios (sanidad, derecho, banca, sector público). Una respuesta incorrecta no es solo molesta: puede tener consecuencias legales, financieras o reputacionales. Por eso cualquier sistema responsable implementa capas de defensa: RAG para anclar el modelo a fuentes verificadas, citas explícitas en la respuesta para que el usuario pueda verificar, instrucciones de "si no lo sabes, dilo", validación de salida (modelos verificadores, regex, schemas), guardrails, y revisión humana en flujos críticos.

La evaluación es clave para detectar y reducir alucinaciones. Métricas como faithfulness (la respuesta se apoya en el contexto recuperado), answer relevance (responde realmente a la pregunta), context recall (el contexto contiene la información necesaria) son la base de frameworks como RAGAS, DeepEval o las evals propias. Sin evaluación cuantitativa, mejorar el sistema es ir a ciegas.

En 10Code construimos sistemas de IA generativa partiendo de la asunción de que el modelo alucinará y diseñando alrededor. RAG, prompts defensivos, schemas estructurados con validación, instrucciones explícitas sobre cuándo decir "no sé", capas de verificación cuando el dominio lo exige, y siempre observabilidad para detectar regresiones de calidad antes de que las detecte el usuario.