Cambiar de modelo de IA: qué comprobar antes de migrar

La migración empieza antes de cambiar la configuración

Los modelos disponibles en una plataforma tienen un ciclo de vida. La documentación de Anthropic distingue, entre otros, modelos activos, desaconsejados y retirados; indica que las solicitudes a modelos retirados fallan y recomienda probar los reemplazos antes de esa fecha. También advierte que las plataformas operadas por socios pueden tener calendarios diferentes. Claude Platform Docs, ciclo de vida de modelos.

Para una empresa chilena que ya utiliza un asistente, proponemos tratar la sustitución como un cambio de producción. Hace falta comprobar qué comportamientos conserva y cuáles modifica. Esta guía aplica documentación internacional a esa decisión; no anuncia un retiro específico para hoy ni compara comercialmente proveedores. El primer entregable debería ser una referencia del servicio que funciona actualmente.

Una mejora de redacción puede cambiar una promesa

Consideremos una empresa ficticia que prepara respuestas sobre despachos entre regiones. Su asistente actual distingue un plazo estimado de una fecha confirmada. Al probar otra versión, una respuesta puede sonar más clara y amable, pero convertir entrega estimada para el viernes en recibirá su pedido el viernes. La diferencia importa para quien atiende al cliente, aunque ambas frases parezcan responder la pregunta.

Para ese caso proponemos registrar la consulta, el estado del pedido y la condición que debe conservar la respuesta: si logística no confirmó una fecha, el mensaje debe mantener la estimación. No exigiríamos una frase idéntica. La evaluación debe aceptar distintas redacciones que respeten esa condición. El escenario es hipotético y no describe resultados de clientes de Digital Dev.

Conservar una referencia que permita detectar retrocesos

La guía de Anthropic sobre evaluación de agentes, publicada el 9 de enero de 2026, diferencia pruebas de nuevas capacidades y pruebas de regresión. Estas últimas revisan si el sistema sigue resolviendo tareas que ya manejaba. También señala que evaluar un agente incluye el modelo y el sistema que organiza su funcionamiento. Anthropic, Demystifying evals for AI agents.

Nuestra propuesta es guardar un conjunto de consultas con sus documentos y resultados esperados, junto con la versión del modelo, las instrucciones y las herramientas utilizadas. En la empresa del ejemplo incluiríamos destinos atendidos, cobertura incierta, pedidos sin actualización y preguntas con información insuficiente. Las expectativas deben validarse con operaciones: copiar respuestas históricas sin revisarlas podría convertir un error antiguo en la referencia oficial.

Para la primera comparación mantendríamos constantes esos elementos y cambiaríamos el modelo. Si la versión candidata requiere ajustar instrucciones, identificaríamos esa combinación como una configuración diferente y volveríamos a ejecutar el mismo conjunto. Así el equipo puede distinguir una sustitución del modelo de una modificación más amplia del servicio.

Leer las diferencias por tipo de consulta

Proponemos revisar juntas las respuestas anterior y candidata para cada consulta, separando cumplimiento de condiciones, claridad y necesidad de corrección. En despacho, una respuesta podría mejorar en concisión y empeorar en la conservación de una fecha estimada. Registrar ambas observaciones ayuda a evitar que una preferencia general por el estilo oculte un retroceso comercial.

El informe debería mostrar resultados por categoría, además del total. Si las consultas sobre cobertura regional fallan más, esa diferencia merece atención aunque mejore la mayoría de las preguntas frecuentes. Sugerimos acordar antes qué errores impiden avanzar: en nuestro ejemplo, confirmar compromisos sin respaldo sería uno. Es un criterio propuesto para ese flujo, no un umbral universal de calidad.

El evaluador automático también necesita comprobarse

Google Cloud documenta cómo contrastar un modelo que puntúa respuestas con calificaciones humanas. El procedimiento utiliza un conjunto de referencia para comparar las puntuaciones o preferencias automáticas con las de personas y determinar si la métrica sirve para el caso de uso. Es una evaluación del propio evaluador. Google Cloud, Evaluate a judge model.

En nuestra empresa, pediríamos al responsable de despacho revisar una muestra que incluya desacuerdos entre el evaluador y operaciones. Si el juez premia una confirmación más categórica porque parece útil, habría que corregir el criterio y repetir la comparación. También conservaríamos casos donde ambas versiones son aceptables y casos donde ninguna lo es. Elegir la mejor de dos respuestas no demuestra que cumpla el requisito.

Repetir casos importantes y observar el proceso completo

Anthropic recuerda que las salidas pueden variar entre ejecuciones y recomienda varios ensayos. Su guía también propone que cada intento comience en un entorno limpio, para evitar que estado o archivos de una prueba afecten la siguiente. Anthropic, variabilidad y entorno de evaluación.

Para los compromisos de despacho, repetiríamos consultas críticas con el mismo contexto y registraríamos cuántas veces se conserva la condición esperada. Junto con los errores, anotaríamos tiempo de respuesta y trabajo de corrección. Si se prueban herramientas, utilizaríamos datos controlados sin enviar mensajes a clientes. El costo por tarea resuelta permite incorporar esa revisión a la decisión económica.

Acordar cómo avanzar y cómo detener la transición

Si la candidata cumple los criterios, proponemos empezar con un alcance limitado y supervisado, conservando la identificación de la versión que produjo cada respuesta. El equipo debería acordar quién revisa las incidencias y qué señal detiene el cambio. La alternativa puede ser una configuración previamente validada mientras siga disponible, o atención manual; no conviene depender de volver a un modelo que ya fue retirado.

El cierre útil reúne referencia, diferencias observadas, errores pendientes y decisión del responsable del proceso. Una migración de automatización con IA queda mejor definida cuando negocio y tecnología pueden explicar qué se conserva, qué mejora y qué todavía exige revisión.