Cómo evaluar una agencia de IA antes de contratarla (10 preguntas)

Evaluar una agencia de IA es difícil porque la mayoría usa el mismo vocabulario (agentes, automatización, LLMs, integración) con niveles de competencia muy distintos detrás. La forma de distinguirlos no es el portfolio (fácil de fabricar) sino cómo responden a preguntas concretas sobre el trabajo real.

Las preguntas que siguen están diseñadas para provocar respuestas que revelan si el proveedor tiene experiencia real o está improvisando.

1. ¿Cómo estructuráis el diagnóstico antes de proponer una solución? Buena respuesta: describen un proceso concreto de análisis del problema, los datos y los sistemas. Señal de alerta: proponen solución sin mencionar diagnóstico.

2. ¿Cuántos proyectos similares habéis implementado en producción? Buena respuesta: un número honesto, aunque sea bajo, con detalle de qué construyeron. Un proveedor que te dice 'este sería nuestro tercer proyecto' y te explica los dos anteriores es más fiable que uno que infla el portfolio. Señal de alerta: cifras grandes que no pueden sustanciar, o vender pilotos y demos como si fueran producción.

3. ¿Cómo medís si el proyecto funciona? Buena respuesta: proponen métricas concretas antes de empezar. Señal de alerta: respuestas vagas como 'veremos si funciona bien' o 'lo medimos cualitativamente'.

4. ¿Qué pasa cuando el agente falla o produce un resultado incorrecto? Buena respuesta: describen mecanismos de detección, escalado y corrección. Señal de alerta: dicen que 'los modelos actuales son muy precisos' sin abordar el fallo.

5. ¿Cómo gestionáis los cambios de alcance durante el proyecto? Buena respuesta: proceso claro con impacto en plazo y coste acordado por escrito. Señal de alerta: 'nos adaptamos' sin más detalle.

6. ¿Qué modelo de IA usaréis y por qué? Buena respuesta: justifican la elección según el caso de uso, hablan de trade-offs. Señal de alerta: 'usamos lo mejor del mercado' sin especificar.

7. ¿Cómo se integra el sistema con nuestros datos y herramientas actuales? Buena respuesta: preguntan sobre tus sistemas antes de responder. Señal de alerta: 'nos conectamos a cualquier sistema' sin preguntar nada.

8. ¿Quién del equipo trabaja en el proyecto y qué experiencia tiene? Buena respuesta: nombran personas con roles y experiencia concreta. Señal de alerta: hablan de 'nuestro equipo' sin especificar quién.

9. ¿Qué incluye el mantenimiento posterior a la entrega? Buena respuesta: describen qué cubre el mantenimiento, durante cuánto tiempo y a qué coste. Señal de alerta: 'te acompañamos' sin detalle.

10. ¿Podéis enseñarme algo funcionando o hablar con un cliente? Buena respuesta: referencias si las tienen; si el proveedor es joven, una demo de un sistema real que hayan construido o transparencia directa sobre su trayectoria. Señal de alerta: prometer referencias que nunca llegan, o esconderse en la 'confidencialidad' sin ofrecer ninguna alternativa.

Ningún proveedor va a tener respuestas perfectas a las diez preguntas. Lo que buscas es coherencia y concreción: que las respuestas revelen que han pensado en esos problemas y los han resuelto antes, no que estén improvisando.

Las señales de alerta no son descalificadoras por sí solas: pueden indicar que el proveedor es joven pero honesto. Lo que sí es descalificador es la combinación de varias señales de alerta con resistencia a dar detalles.

La última prueba es la más simple: ¿el proveedor te hace preguntas sobre tu negocio o solo habla de sus capacidades? Un proveedor que llega con la solución preparada antes de entender el problema no ha hecho el diagnóstico. Y sin diagnóstico, el presupuesto es una estimación sin base.