IA para documentos empresariales: cómo exigir respuestas verificables

La pregunta que conviene hacer antes del piloto

¿Cómo saber si un asistente de IA responde correctamente sobre los documentos de una empresa? Proponemos exigir tres comprobaciones: que use una versión vigente, que el pasaje citado sostenga la respuesta y que quien consulta tenga autorización para verlo. Esta guía traduce documentación técnica de proveedores en criterios para evaluar una implementación; no presenta esas capacidades como un lanzamiento del día.

Pensemos en una distribuidora chilena hipotética que reúne manuales, condiciones comerciales y procedimientos de despacho. Un ejecutivo pregunta qué plazo puede ofrecer para una entrega. Para aceptar la respuesta, debería poder abrir la condición correspondiente, identificar a qué servicio aplica y comprobar su vigencia. El ejemplo es ilustrativo: no describe un cliente ni resultados medidos por Digital Dev.

Preparar una colección con responsables y versiones

Nuestra recomendación es comenzar con una colección acotada y un responsable de negocio. Para cada archivo, registrar título, versión, fecha de vigencia, área propietaria y grupos autorizados. También debe quedar clara la relación entre una versión reemplazada y la actual. Si dos documentos se contradicen, corresponde resolver esa diferencia con su responsable antes de pedirle al asistente una respuesta definitiva.

Para comprobar la lectura, conviene comparar el archivo original con el texto que recibirá el sistema. En una tabla, revisar encabezados, unidades y notas al pie; en un escaneo, comprobar que el contenido quedó legible. Una limitación concreta aparece en la documentación de citas de Claude: esa función no puede citar PDF escaneados que carecen de texto extraíble.

Encontrar el fragmento correcto sin perder su contexto

RAG es un enfoque que recupera información de una base documental y la incorpora a la entrada del modelo para responder. En su explicación de Contextual Retrieval, publicada en septiembre de 2024, Anthropic señala que dividir documentos en fragmentos puede separar un dato de su contexto. También describe la complementariedad entre búsqueda semántica y coincidencias de términos exactos.

La consecuencia práctica que proponemos evaluar es sencilla: un plazo debería conservar el producto, la versión y las condiciones que lo acompañan. En el piloto de nuestra distribuidora, incluiríamos consultas con nombres comerciales, siglas y códigos exactos, además de preguntas expresadas con otras palabras. Así se puede observar si el buscador encuentra la evidencia pertinente antes de revisar cómo la interpreta el modelo.

Una cita debe permitir revisar la respuesta completa

La función de citas documentales de Claude devuelve ubicaciones dentro de los archivos aportados, como páginas de PDF o posiciones en texto. Esa referencia facilita volver al pasaje utilizado. Nuestra lectura es que comprobar la ubicación y comprobar la interpretación son dos tareas diferentes: encontrar un párrafo real todavía exige revisar si sostiene lo que afirma la respuesta.

Google Cloud documenta una comprobación de respaldo con RAG que compara una respuesta con textos de referencia y vincula afirmaciones con citas. Su puntuación aproxima la proporción de afirmaciones respaldadas; una afirmación parcialmente sustentada no se considera completamente fundamentada. De ese método se desprende una limitación: el respaldo depende de las referencias suministradas y no acredita por sí solo su vigencia.

Como criterio de aceptación, proponemos revisar cada afirmación que cambie una decisión: plazo, condición, excepción y alcance. Cuando los archivos no permitan resolver la consulta, la respuesta debería indicar qué información falta y a quién corresponde confirmarla. Esa salida también debe incluirse en la demostración y en las pruebas.

Probar los permisos después de que cambian

La documentación de control de acceso documental de Azure AI Search distingue filtros por identidad y mecanismos nativos basados en permisos. Varios de estos últimos están en versión preliminar. Microsoft advierte que los cambios de acceso en el origen pueden tardar en reflejarse: las comprobaciones utilizan los metadatos de permisos sincronizados con el índice.

Para evaluar esa dependencia, recomendamos probar una misma consulta con perfiles autorizados y restringidos, y repetirla después de revocar un permiso. El equipo debe medir cuánto tarda en reflejarse el cambio y acordar cómo limitar el acceso durante ese intervalo. Revisar únicamente que una persona autorizada recibe una buena respuesta deja sin comprobar la parte más delicada del recorrido.

Qué pedir como evidencia antes de ampliar el uso

Proponemos una planilla de evaluación con pregunta, perfil de acceso, documento y versión esperados, pasaje obtenido, respuesta y observaciones. Separar los fallos de búsqueda, lectura e interpretación permite decidir qué corregir. Añadir consultas ambiguas, documentos reemplazados y preguntas sin respuesta evita que el piloto dependa solo de ejemplos elegidos para que funcionen.

La siguiente decisión puede apoyarse en respuestas aceptadas por el responsable del proceso, tiempo de revisión y motivos de rechazo. Son medidas propuestas para cada piloto, no beneficios garantizados. Para continuar, nuestra guía sobre autonomía y evaluación de agentes aborda las acciones posteriores a una consulta; la página de IA aplicada a empresas explica cómo relacionar el alcance del proyecto con una tarea verificable.