Agentes de IA en portales: comprobar que la tarea quedó hecha

Cuándo evaluar un agente que usa el navegador

Si tu equipo entra diariamente a un portal para consultar despachos, descargar comprobantes o preparar registros, un agente de IA que opera el navegador puede ser una alternativa a evaluar. La decisión exige definir qué resultado debe entregar, cómo se comprobará y qué ocurrirá cuando la interfaz cambie. Esa especificación importa tanto como elegir el modelo.

La documentación de OpenAI describe agentes que navegan sitios e interactúan con aplicaciones mediante su interfaz en un navegador alojado. Es una capacidad disponible en esa plataforma, sin demostrar compatibilidad con cualquier portal ni éxito en un proceso particular. OpenAI, documentación de computer use.

Antes de automatizar pantallas, revisa con el proveedor si existe un intercambio de datos soportado, una exportación o una API adecuada. La guía de integración mediante APIs y webhooks ayuda a delimitar esa alternativa. Si se utilizará el navegador, acuerda los accesos autorizados y las condiciones de operación del portal.

Una confirmación visible puede ser insuficiente

La prepublicación BreakingWeb, presentada el 20 de septiembre de 2026, construye pares de tareas con y sin intervenciones en el entorno. Incluye 519 pares sobre siete sitios autoalojados y comprueba los resultados contra el estado del sistema. Entre las intervenciones hay respuestas y avisos que parecen confirmar una operación aunque el cambio no se haya guardado. Yin y colaboradores, BreakingWeb.

El estudio evalúa agentes y condiciones experimentales concretas. Sus resultados no permiten asignar una tasa de fallas a todos los portales empresariales. Sí ofrecen una pregunta útil para un piloto: ¿qué evidencia distingue una tarea completada de una pantalla que solo aparenta confirmarla?

Como criterio de implementación, recomendamos definir una comprobación posterior independiente de la frase final del agente. Puede ser volver a consultar el registro mediante un acceso autorizado, contrastar el identificador y revisar el dato persistido. Si la plataforma no permite verificarlo, el resultado debe quedar pendiente y pasar a una persona.

Evaluar la entrega completa, además de los pasos

KNOWS, presentado el 24 de septiembre de 2026 y aceptado en Findings of EMNLP 2026 según su ficha, estudia tareas complejas por navegador que terminan en un documento, presentación o planilla. Combina verificaciones programadas con evaluaciones de modelos. Sus experimentos muestran que completar pasos intermedios puede coexistir con una entrega inutilizable. Gill y colaboradores, KNOWS.

Su alcance principal son Google Docs, Sheets y Slides; además, depende del estado cambiante de la web. No constituye una prueba de los portales usados por una empresa chilena. Para trasladar la pregunta a tu operación, conviene revisar el entregable que recibirá el siguiente equipo: contenido, correspondencia con la solicitud, integridad y posibilidad de uso.

Anthropic también distingue el recorrido del agente del resultado final al explicar la evaluación de agentes que usan computadores. Describe comprobaciones del estado de páginas, archivos y sistemas para determinar si se alcanzó el objetivo. Anthropic, evaluación de agentes, enero de 2026.

Un piloto concreto para una empresa en Chile

Considera un ejemplo hipotético: una distribuidora quiere consultar el estado de sus despachos en un portal autorizado y reunir los comprobantes disponibles. El piloto empieza con lectura y descarga. Modificar pedidos, cambiar direcciones o enviar mensajes queda fuera del alcance acordado.

Para cada solicitud, prepara una referencia conocida: identificador del despacho, proveedor, período y documento esperado, cuando corresponda. Pide una salida que distinga encontrado, no disponible y pendiente de verificar. El archivo descargado debe abrirse y corresponder al despacho; un nombre parecido o un enlace visible no bastan.

Incluye casos que el equipo ya conoce: dos registros con nombres similares, varias páginas de resultados, un comprobante ausente y una consulta sin permiso. Prueba los formatos de fecha, identificadores y unidades usados en la operación local. Son propuestas de evaluación, no resultados medidos por Digital Dev en un cliente.

El responsable de operaciones compara la salida con esas referencias y registra las discrepancias. Conserva la evidencia necesaria con accesos limitados y una retención acordada; evita copiar documentos completos cuando un identificador y una comprobación sean suficientes.

Separar el acceso al sitio de la autorización para actuar

OpenAI advierte que aprobar el acceso a un origen web no impone confirmación antes de cada acción. Su documentación señala que, cuando se necesita garantizar ese control, deben restringirse los recursos accesibles o utilizar un entorno de navegador controlado por la aplicación. OpenAI, alcance de las aprobaciones.

Por eso, para nuestro ejemplo proponemos una cuenta con permisos acordes a la consulta. Si luego se evalúa escribir datos, ese alcance requiere pruebas separadas, una autorización explícita y un mecanismo verificable para detener la ejecución. Pedir cuidado en una instrucción no reemplaza los permisos efectivos de la cuenta.

Qué pedir antes de ampliar la automatización

Repite las tareas después de cambios relevantes en el portal o en el agente. En un entorno de prueba, comprueba qué sucede ante una pantalla reorganizada, una respuesta lenta o una sesión vencida. Define cuándo debe detenerse y qué antecedentes entregará a quien continúe manualmente.

Registra tareas verificadas, resultados incorrectos, casos derivados y tiempo de revisión o corrección. Compara el trabajo completo con el proceso actual, incluyendo mantenimiento y supervisión. Una demostración exitosa sirve para explorar; la decisión de operación necesita evidencia representativa del proceso.

Al evaluar una automatización de procesos, pide que la propuesta identifique portales, permisos, resultados esperados, pruebas de aceptación y responsables de mantenimiento. El alcance debe poder detenerse donde termina la evidencia disponible.