La oferta de herramientas de IA interesantes ya supera la capacidad de cualquiera para evaluarlas. El recurso escaso no son las herramientas, sino las horas que puedes dedicar a averiguar si una funciona.
Lo que sigue es un procedimiento para aprovechar bien esas horas, con una preferencia deliberada por llegar rápido a un «no».
Empieza por los fallos, no por la demostración
Todos los proyectos destacan primero lo que hacen bien. La pregunta útil es qué hacen mal, y la respuesta suele estar en el registro de incidencias, no en el README.
Ordena las incidencias abiertas por número de comentarios y lee las diez primeras. En cinco minutos aprenderás más que leyendo cualquier cantidad de documentación.
Comprueba si se mantiene, no si es popular
Las estrellas miden cuántas personas pensaron alguna vez que algo parecía interesante. No dicen nada sobre si todavía funciona.
Hay señales mejores:
- La fecha del último commit que no fuera una actualización de dependencias
- Si las incidencias reciben respuestas, aunque sean breves
- Si la última versión se publicó desde una rama que todavía existe
Una herramienta con 800 estrellas y un mantenedor que responde preguntas es una apuesta más segura que otra con 30.000 y una bandeja llena de incidencias de hace dos años.
Pruébala con algo real
El repositorio de demostración se elige para que la herramienta quede bien. El tuyo no.
Asígnale una tarea que ya hayas realizado personalmente. Podrás juzgar el resultado sin emprender una segunda investigación. Si no puede resolver un problema cuya respuesta conoces, tampoco resolverá uno cuya respuesta desconoces.
Calcula el coste de salida antes de comprometerte
La pregunta importante no es «¿es buena?», sino «¿qué ocurre cuando dejo de utilizarla?».
Una herramienta que lee tus archivos actuales y escribe resultados en formatos normales se puede abandonar casi sin coste. No sucede lo mismo si almacena tus datos en un formato propio o si todo lo demás acaba dependiendo de ella. Si dos opciones ofrecen méritos parecidos, prefiere la reversible: estás comprando la capacidad de equivocarte a bajo coste.
Cuándo dejar de evaluar
Detente cuando tengas una respuesta, no cuando dispongas de una visión completa. La mayoría de las evaluaciones deberían terminar en menos de una hora, con un «no» y una nota de una línea que explique el motivo. Así no repetirás el trabajo la próxima vez que aparezca la herramienta.
Guarda esa nota donde puedas encontrarla de nuevo. La evaluación que más se desperdicia es la segunda evaluación de una herramienta que ya habías descartado.