Cómo evaluar una agencia de IA antes de contratarla (10 preguntas)

Evaluar una agencia de IA es difícil porque la mayoría usa el mismo vocabulario (agentes, automatización, LLMs, integración) con niveles de competencia muy distintos detrás. La forma de distinguirlos no es el portfolio (fácil de fabricar) sino cómo responden a preguntas concretas sobre el trabajo real.

Las preguntas que siguen están diseñadas para provocar respuestas que revelan si el proveedor tiene experiencia real o está improvisando.

1. ¿Cómo estructuráis el diagnóstico antes de proponer una solución? Buena señal: describen un proceso concreto de análisis del problema, los datos y los sistemas. Alerta: proponen solución sin mencionar diagnóstico.
2. ¿Cuántos proyectos similares habéis implementado en producción? Buena señal: un número honesto, aunque sea bajo, con detalle de qué construyeron. Alerta: cifras grandes que no pueden sustanciar, o vender pilotos y demos como si fueran producción.
3. ¿Cómo medís si el proyecto funciona? Buena señal: proponen métricas concretas antes de empezar. Alerta: respuestas vagas como "veremos si funciona bien".
4. ¿Qué pasa cuando el agente falla o produce un resultado incorrecto? Buena señal: describen mecanismos de detección, escalado y corrección. Alerta: dicen que "los modelos actuales son muy precisos" sin abordar el fallo.
5. ¿Cómo gestionáis los cambios de alcance durante el proyecto? Buena señal: proceso claro con impacto en plazo y coste acordado por escrito. Alerta: "nos adaptamos" sin más detalle.
6. ¿Qué modelo de IA usaréis y por qué? Buena señal: justifican la elección según el caso de uso y hablan de trade-offs. Alerta: "usamos lo mejor del mercado" sin especificar.
7. ¿Cómo se integra el sistema con nuestros datos y herramientas actuales? Buena señal: preguntan sobre tus sistemas antes de responder. Alerta: "nos conectamos a cualquier sistema" sin preguntar nada.
8. ¿Quién del equipo trabaja en el proyecto y qué experiencia tiene? Buena señal: nombran personas con roles y experiencia concreta. Alerta: hablan de "nuestro equipo" sin especificar quién.
9. ¿Qué incluye el mantenimiento posterior a la entrega? Buena señal: describen qué cubre, durante cuánto tiempo y a qué coste. Alerta: "te acompañamos" sin detalle.
10. ¿Podéis enseñarme algo funcionando o hablar con un cliente? Buena señal: referencias si las tienen; si el proveedor es joven, una demo de un sistema real o transparencia directa sobre su trayectoria. Alerta: prometer referencias que nunca llegan, o esconderse en la "confidencialidad" sin ofrecer alternativa.

Ningún proveedor va a tener respuestas perfectas a las diez preguntas. Lo que buscas es coherencia y concreción: que las respuestas revelen que han pensado en esos problemas y los han resuelto antes, no que estén improvisando.

Las señales de alerta no son descalificadoras por sí solas: pueden indicar que el proveedor es joven pero honesto. Lo que sí es descalificador es la combinación de varias señales de alerta con resistencia a dar detalles.

La última prueba es la más simple: ¿el proveedor te hace preguntas sobre tu negocio o solo habla de sus capacidades? Un proveedor que llega con la solución preparada antes de entender el problema no ha hecho el diagnóstico. Y sin diagnóstico, el presupuesto es una estimación sin base.