L’offre d’outils d’IA intéressants dépasse désormais la capacité de chacun à les évaluer. La ressource rare n’est pas l’outil, mais le nombre d’heures que vous pouvez consacrer à vérifier s’il fonctionne.

Voici une méthode pour bien employer ces heures, volontairement orientée vers l’obtention rapide d’un « non ».

Commencez par les modes d’échec, pas par la démonstration

Chaque projet met d’abord en avant ce qu’il réussit. La question utile consiste à demander ce qu’il fait mal, et la réponse se trouve généralement dans le suivi des issues plutôt que dans le README.

Triez les issues ouvertes par nombre de commentaires et lisez les dix premières. Vous en apprendrez davantage en cinq minutes qu’en parcourant n’importe quelle quantité de documentation.

Vérifiez la maintenance, pas la popularité

Les étoiles mesurent le nombre de personnes qui, un jour, ont trouvé un projet intéressant. Elles ne disent pas s’il fonctionne encore.

De meilleurs indicateurs sont :

  • La date du dernier commit qui ne soit pas une simple mise à jour de dépendances
  • La présence de réponses aux issues, même brèves
  • Le fait que la dernière version ait été publiée depuis une branche qui existe toujours

Un outil avec 800 étoiles et un mainteneur qui répond aux questions est un choix plus sûr qu’un autre avec 30 000 étoiles et une boîte de réception remplie d’issues vieilles de deux ans.

Testez-le sur un cas réel

Le dépôt de démonstration est choisi pour mettre l’outil en valeur. Le vôtre ne l’est pas.

Confiez-lui une tâche que vous avez déjà réalisée vous-même. Vous pourrez ainsi juger le résultat sans lancer une seconde enquête. S’il ne sait pas traiter un problème dont vous connaissez la réponse, il ne saura pas davantage traiter celui dont vous l’ignorez.

Évaluez le coût de sortie avant de vous engager

La question importante n’est pas « est-il bon ? », mais « que se passe-t-il lorsque j’arrête de l’utiliser ? ».

Un outil qui lit vos fichiers existants et produit des résultats dans des formats ordinaires peut être abandonné presque gratuitement. Il en va autrement s’il stocke vos données dans son propre format ou si tout le reste finit par en dépendre. Lorsque deux options sont proches, préférez celle qui est réversible : vous achetez la possibilité de vous tromper à faible coût.

Quand arrêter l’évaluation

Arrêtez-vous lorsque vous avez une réponse, pas lorsque vous disposez d’une vision complète. La plupart des évaluations devraient se terminer en moins d’une heure, par un « non » accompagné d’une ligne expliquant pourquoi. Vous éviterez ainsi de refaire le travail lorsque l’outil réapparaîtra.

Conservez cette note dans un endroit où vous la retrouverez. L’évaluation la plus souvent gaspillée est la seconde évaluation d’un outil déjà écarté.