GUÍAS PARA EMPRESAS / IA SOBRE DOCUMENTOS
IA para consultar documentos de tu empresa: cómo evaluar RAG
RAG combina búsqueda en fuentes autorizadas con un modelo de lenguaje para preparar una respuesta basada en los fragmentos recuperados. Puede servir para consultar procedimientos o documentación interna. Antes de implementarlo, define qué documentos están vigentes, quién puede verlos y cómo comprobarás cada respuesta. Mostrar una cita no basta para demostrar que la respuesta es correcta.
Evaluar IA sobre mis documentos
Conoce el servicio y comparte el contexto de tu proyecto.
En esta página
Qué resuelve RAG y qué tarea debes delimitar
Microsoft describe RAG como un recorrido de recuperación, incorporación del contenido a la consulta y generación de una respuesta. El modelo recibe información seleccionada de la organización cuando responde. La calidad depende tanto de encontrar material pertinente como de usarlo correctamente; puede haber respuestas inexactas aun con documentos disponibles.
Para comparar propuestas, escribe una tarea concreta: «ayudar al equipo de operaciones a localizar y explicar el procedimiento vigente». Distingue buscar un documento, resumirlo, contrastar versiones y calcular un total. Cada tarea requiere fuentes y pruebas distintas. Para cifras oficiales, acuerda cuándo corresponde consultar el sistema que registra el dato o ejecutar un cálculo verificable.
Una primera entrega puede limitarse a lectura y preparación de respuestas. Consultar documentos no habilita por sí solo modificar registros, enviar mensajes o aprobar decisiones. Esas acciones necesitan otro alcance y permisos explícitos.
Una matriz para saber si tus documentos están preparados
Antes de elegir un modelo, completa este inventario para la colección inicial. La matriz es un criterio de Digital Dev: hace visibles decisiones que el proveedor y tu equipo deben resolver juntos.
Desliza la tabla si no ves todas las columnas.
| Condición de la fuente | Decisión necesaria | Evidencia para revisar |
|---|---|---|
| Hay procedimientos con versiones diferentes | Quién determina la versión vigente y desde qué fecha | Documento aprobado, versión anterior y regla de reemplazo |
| El archivo es un escaneo o tiene tablas | Cómo se extrae y conserva el significado del contenido | Muestra de texto y tablas recuperadas frente al original |
| Cada área tiene acceso a material distinto | Cómo se aplican los permisos antes de recuperar contenido | La misma consulta realizada con dos roles autorizados |
| Los documentos cambian o se eliminan | Cómo se actualizan, retiran y comprueban en la búsqueda | Prueba de incorporación, cambio y retiro de un documento |
| Una respuesta combina varias fuentes | Qué afirmación respalda cada fragmento | Respuesta esperada con sus pasajes y versiones |
| Falta respaldo para algunas consultas | Cuándo solicitar contexto o derivar al responsable | Preguntas cuya salida acordada es reconocer la falta de información |
Los permisos y la vigencia forman parte de la respuesta
Microsoft recomienda aplicar control de acceso al recuperar el contenido. En una evaluación, comprueba que un usuario no recibe fragmentos reservados en respuestas, vistas de fuentes o registros que pueda consultar. La política de acceso debe cubrir también índices, copias temporales y operación de soporte, según la arquitectura acordada.
OWASP advierte que instrucciones contenidas en archivos pueden influir en el comportamiento del modelo y que RAG no elimina ese riesgo. Por eso, un texto encontrado debe tratarse como material de consulta, sin convertirlo en autorización para ejecutar herramientas o cambiar permisos.
- Asigna responsable y fecha de vigencia a las fuentes de la colección inicial.
- Define qué sucede entre una modificación del documento y su disponibilidad en el asistente; comunica ese intervalo al usuario cuando sea relevante.
- Comprueba la retirada de una fuente y la revocación de un acceso con una nueva consulta.
- Decide qué historial conservar para investigar errores y quién puede consultarlo, sin copiar contenido reservado innecesariamente.
Cómo aceptar un asistente que responde con fuentes
Microsoft distingue la evaluación de la recuperación de documentos de la evaluación de la respuesta: pertinencia, respaldo en el contexto y cobertura de lo esperado. Esa separación ayuda a investigar si el error apareció al buscar o al redactar. Los siguientes son criterios propuestos, no resultados medidos por Digital Dev.
Construye con el responsable del proceso un conjunto de preguntas representativas y conserva la respuesta esperada, las fuentes admitidas y el rol del usuario. Acuerda qué errores impiden aceptar la entrega y cómo se revisan; una puntuación global puede ocultar un fallo de permisos o una condición crítica omitida.
- Pregunta con respaldo: la respuesta usa la versión vigente y cada afirmación relevante corresponde a su pasaje citado.
- Pregunta sin respaldo: reconoce la información faltante y no completa una regla de negocio inventada.
- Fuentes contradictorias: aplica la regla de vigencia o informa el conflicto para revisión.
- Usuario con otro rol: no revela texto, títulos ni enlaces reservados fuera de su autorización.
- Documento actualizado o retirado: una nueva consulta refleja el estado acordado de la fuente.
- Archivo con instrucciones ajenas a la tarea: el asistente conserva los límites de consulta y de acción.
Qué experiencia publicada es pertinente para esta evaluación
El caso Sabioncello, atribuido a Kactus · ecosistema Digital Dev, documenta atención y agendamiento con IA junto con revisión humana de conversaciones y restricciones operativas. Sirve para observar por qué una respuesta debe corresponder a las condiciones reales del proceso.
La ficha describe ese trabajo clínico y comercial; no acredita un sistema RAG sobre documentos internos, una arquitectura determinada ni una tasa de precisión. Para tu asistente documental, la evidencia debe construirse con tu colección autorizada y los criterios de aceptación acordados.
Qué llevar a una conversación sobre IA documental
Prepara una pregunta habitual, una que hoy requiere revisión y una que tus fuentes no permiten responder. Indica dónde viven los documentos, quién aprueba su vigencia y qué grupos deben tener accesos diferentes. Puedes comenzar con muestras ficticias o anonimizadas.
La propuesta debe distinguir preparación de documentos, extracción, búsqueda, generación, pruebas, infraestructura y mantenimiento. Esos componentes tienen responsabilidades y costos de operación propios. Los productos citados explican conceptos; su uso concreto depende de los accesos y condiciones del proyecto.
Guía institucional de Digital Dev elaborada con asistencia de IA. Las matrices y los criterios de aceptación son propuestas propias para evaluar un proyecto. Las fuentes técnicas y los casos enlazados mantienen su autoría y alcance; no se atribuye revisión personal a integrantes del equipo.
ANTES DE DECIDIR
Preguntas frecuentes
¿RAG entrena el modelo con todos los documentos de mi empresa?
RAG recupera material pertinente y lo aporta al modelo durante la consulta. Ese mecanismo no equivale a reentrenar el modelo. Las condiciones de procesamiento, retención y uso de datos del proveedor deben revisarse por separado para la arquitectura elegida.
¿Una respuesta con citas siempre es correcta?
Una cita permite inspeccionar el respaldo, pero puede apuntar a una versión antigua, un pasaje que no sostiene la afirmación o información incompleta. La aceptación debe comprobar correspondencia, vigencia, permisos y cobertura de la pregunta.
¿Se puede consultar toda la documentación desde el primer día?
Primero conviene delimitar una colección y una tarea que el equipo pueda evaluar. Ampliar fuentes requiere revisar calidad, permisos, versiones y nuevas preguntas; el alcance inicial no demuestra cobertura de toda la organización.
¿Qué sucede si no encuentra una respuesta?
Define una salida explícita: reconocer que falta respaldo, pedir información adicional o derivar a un responsable. La prueba debe incluir consultas sin respuesta para comprobar que no se inventan procedimientos o condiciones.
EXPERIENCIA APLICADA
Procesos que hemos abordado.
Esquemas editoriales de los procesos descritos en cada caso. Explora las fichas para conocer el trabajo realizado.