RAG(RAG)

RAG (Retrieval-Augmented Generation) es el patrón más utilizado para conectar un LLM con datos privados o actualizados. La idea es simple pero poderosa: ante una consulta del usuario, en vez de pedir al modelo que responda solo con su conocimiento entrenado, primero se recuperan documentos relevantes desde una base de conocimiento y se incluyen como contexto en el prompt. El modelo genera la respuesta basándose en ese contexto, lo que reduce drásticamente las alucinaciones y permite citar fuentes.

La implementación canónica tiene cuatro pasos: ingestión (los documentos se trocean en chunks, se embedden con un modelo de embeddings y se almacenan en una base vectorial con sus metadatos), recuperación (la consulta del usuario se embed también y se buscan los chunks más similares por cosine similarity, opcionalmente combinados con búsqueda léxica BM25), reranking (un modelo cross-encoder reordena los top resultados por relevancia real) y generación (los mejores chunks se inyectan en el prompt junto con instrucciones para citar).

Hacer RAG bien es más difícil de lo que parece. El chunking importa muchísimo (tamaño, solapamiento, respeto de estructura), el modelo de embeddings condiciona la calidad del recall, los metadatos permiten filtrar por tenant/idioma/fecha, el reranking marca la diferencia en precisión, y la evaluación es imprescindible (datasets de Q&A con golden answers, métricas como faithfulness y context recall medidas con RAGAS o frameworks similares).

En 10Code construimos sistemas RAG sobre datos corporativos (manuales, contratos, intranets, bases de conocimiento, tickets de soporte) usando OpenAI, Anthropic o modelos abiertos según el cliente. Combinamos pgvector con búsqueda híbrida, reranking con Cohere o Voyage, prompts versionados, evaluación automática y observabilidad de coste y latencia. Un RAG bien diseñado convierte un LLM genérico en un experto del negocio del cliente.