Para saber si un piloto de inteligencia artificial funciona, compará la misma tarea antes y durante la prueba. Medí la calidad del resultado, el tiempo humano total, los errores, el costo de operar la solución y la experiencia de quien recibe o revisa el trabajo. Definí de antemano qué resultado permitiría ampliar el piloto, cuál exigiría corregirlo y qué fallo obligaría a detenerlo. Una demostración convincente o muchos usos de la herramienta no bastan para tomar esa decisión.
Esta guía empieza cuando ya elegiste un proceso y tenés una primera versión para probar. Si todavía estás decidiendo por dónde comenzar, usá la matriz para elegir el primer proceso de IA. Acá nos concentramos en evaluar el piloto completo, incluida la revisión humana y lo que ocurre cuando la solución falla.
Escribí la decisión antes de comenzar
La pregunta no es «¿la IA responde bien?», sino «¿esta forma de hacer la tarea mejora el trabajo en condiciones reales?». Describí la tarea, quién usa el resultado, qué puede hacer la solución y qué queda bajo control de una persona. Después acordá una ficha breve:
| Elemento | Qué dejar escrito antes de probar |
|---|---|
| Tarea y alcance | Qué casos entran, qué canales y sistemas participan, y cuáles quedan fuera |
| Resultado aceptable | Qué debe cumplir una respuesta, clasificación o borrador para servir |
| Fallo grave | Qué error impediría usar el resultado aunque el promedio mejore |
| Comparación | Cómo se hace hoy la tarea y con qué casos se comparará |
| Responsable | Quién revisa resultados, registra problemas y decide el siguiente paso |
| Decisión | Qué evidencia llevaría a ampliar, corregir, repetir o detener la prueba |
La ficha es un método editorial de Agencia IA Uruguay; sus criterios concretos dependen del proceso. En la función de medición del marco AI RMF, NIST propone elegir métodos relacionados con el contexto y comparar el sistema con referencias humanas o procesos existentes. Eso ayuda a formular la evaluación, pero no establece una tasa universal de aciertos para cualquier empresa.
Tomá una línea de base comparable
Antes de activar el piloto, observá cómo se resuelven casos semejantes sin la nueva solución. Registrá volumen, tipo de caso, minutos de trabajo, correcciones, esperas y errores que importan al negocio. Incluí los casos difíciles: una tarea que parece rápida en promedio puede consumir gran parte del tiempo en excepciones.
Durante la prueba, medí el mismo recorrido completo. Si una persona tarda tres minutos en revisar una respuesta y otros dos en corregir el registro, esos cinco minutos cuentan. También cuentan el mantenimiento de las fuentes, el tratamiento de fallas y los costos del canal o del modelo. La guía sobre qué datos preparar antes de conectar IA ayuda a identificar fuentes y versiones que pueden afectar el resultado.
Compará períodos con una mezcla semejante de casos. Si una semana incluye solo preguntas fáciles y la otra reúne reclamos complejos, la diferencia no demuestra una mejora causada por la IA. Cuando no haya casos suficientes, describí el límite y mantené la conclusión provisional.
Evaluá calidad y seguridad caso por caso
Para cada caso de prueba, escribí cuál sería un resultado aceptable y qué debería pasar si falta información. No alcanza con pedir a otra IA un puntaje general y tomarlo como verdad. Microsoft explica que las evaluaciones automáticas pueden complementar la revisión humana, pero requieren atención especial en tareas específicas y pueden fallar al juzgar respuestas.
Probá al menos estas clases de situaciones, según el uso:
- Casos habituales: la información está completa y la respuesta esperada es verificable.
- Variaciones reales: distintas palabras, formatos, horarios o maneras de hacer la misma pregunta.
- Datos faltantes o contradictorios: la solución debe reconocer el límite y derivar cuando corresponda.
- Acciones fuera de permiso: no debe enviar, cobrar, modificar ni prometer algo que el piloto no autoriza.
- Cambios recientes: un precio, estado o documento se actualizó y la versión anterior ya no sirve.
Si la solución responde a clientes, revisá también si distingue un hecho de una suposición, si deja el contexto necesario para la derivación y si evita respuestas que puedan crear compromisos indebidos. Para un agente que usa herramientas, evaluá la acción efectivamente ejecutada, no solo el texto de su respuesta. La documentación de Google Cloud sobre evaluación recomienda definir criterios según la tarea, como corrección, relevancia o concisión; la selección depende del resultado que necesitás.
Medí el trabajo y el costo que quedan
Separá cuatro medidas para que un número llamativo no oculte otro problema:
- Calidad: casos aceptados sin cambios, corregidos, derivados correctamente y fallos graves.
- Trabajo humano: minutos de revisión, corrección, búsqueda de información y mantenimiento.
- Operación: costo de plataforma, modelo, mensajes, soporte e integraciones durante el período.
- Resultado del negocio: espera del cliente, tareas resueltas o errores evitados, cuando puedan observarse sin atribuir automáticamente toda la diferencia a la IA.
La cantidad de consultas o de borradores generados indica uso. Puede ser útil para estimar capacidad y costo, pero no prueba que el proceso mejoró. La calculadora gratuita de impacto permite explorar escenarios con tus propios supuestos. Si querés comparar el costo total de alternativas, la guía de presupuesto de IA separa construcción, consumo, personas y mantenimiento.
Ejemplo ilustrativo: una hora menos no siempre habilita ampliar
Imaginá un equipo que clasifica 40 consultas comerciales comparables. Este es un ejemplo hipotético para mostrar el cálculo y la decisión; no describe un cliente ni una mejora esperable.
| Concepto | Situación actual | Piloto con IA |
|---|---|---|
| Casos | 40 | 40 |
| Trabajo humano por caso, con revisión y corrección | 7 minutos | 4 minutos |
| Mantenimiento semanal | 0 minutos | 60 minutos |
| Trabajo humano total | 40 × 7 = 280 minutos | 40 × 4 + 60 = 220 minutos |
Con esos supuestos, el piloto libera 60 minutos de trabajo humano en la semana. Todavía falta sumar el costo de servicios y observar la calidad. Supongamos que 35 clasificaciones fueron aceptadas, tres se corrigieron antes de usarlas y dos se enviaron al equipo equivocado. El tiempo de corregir esas tres ya está incluido en los cuatro minutos promedio; los dos envíos erróneos requieren analizar su impacto por separado.
Si ambos errores afectaron consultas urgentes, el equipo podría decidir no ampliar todavía aunque el tiempo total haya bajado. Primero corregiría la causa y repetiría la prueba con casos urgentes. Si los errores fueron detectados antes de afectar a nadie, la decisión puede ser distinta. Por eso conviene definir el límite de error grave antes de ver los resultados, en función del riesgo real de la tarea.
Cerrá con una de cuatro decisiones
Una revisión útil termina con una decisión documentada y un responsable:
| Decisión | Cuándo tiene sentido |
|---|---|
| Ampliar | Cumple los criterios acordados en casos representativos y hay capacidad para operar y supervisar más volumen |
| Corregir | El problema tiene una causa identificable, como una fuente desactualizada, una integración o una regla de derivación |
| Repetir | La muestra o el período no permiten distinguir un cambio real de una diferencia entre tipos de casos |
| Detener | Persisten errores de impacto alto, no se puede controlar el uso de datos o la mejora no justifica el costo y el trabajo |
No conviertas la primera prueba en una autorización permanente. Repetí los casos críticos cuando cambien fuentes, prompts, modelos, canales o procesos. NIST recomienda evaluar antes del despliegue y seguir monitoreando en operación. La frecuencia y profundidad del control deben responder al impacto de un fallo, no a una fecha decorativa.
Llevá una ficha de resultados a la conversación siguiente
Reuní la ficha inicial, la línea de base, los casos probados, los errores con su causa probable, el tiempo humano total y los costos observados. Anotá también qué condiciones permitirían ampliar el alcance y quién aprobaría ese paso. Con esa evidencia podemos ayudarte a corregir el piloto, elegir una integración más adecuada o decidir si conviene otra solución.
Si la prueba es conversacional, la guía sobre chatbot o agente de IA para tu empresa ayuda a revisar permisos y derivaciones antes de dar más autonomía. El siguiente paso puede ser mejorar la fuente o el proceso, sin necesidad de aumentar el número de acciones automáticas.
