Serguey Asael Shinder – IT Professional

par Serguey Shinder

L’IA m’a donné une bonne réponse, un jour, et cela m’a plus inquiété que si elle s’était trompée. J’avais posé une question technique délicate, et le modèle avait répondu juste — la conclusion était correcte, je l’ai vérifiée. Mais en lisant son raisonnement, j’ai vu qu’il y arrivait par un chemin faux. Les étapes ne tenaient pas. Deux erreurs se compensaient et tombaient, par chance, sur le bon résultat.

Si je n’avais regardé que la conclusion, j’aurais eu toute confiance. C’est ce qui m’a glacé. Une bonne réponse pour de mauvaises raisons est plus dangereuse qu’une mauvaise réponse, parce qu’elle ne déclenche aucune alarme. Elle passe le test superficiel, elle a l’air solide, et elle t’apprend à faire confiance à une machine qui, cette fois, a simplement eu de la chance.

J’ai compris ce jour-là que je ne peux pas juger le modèle sur ses résultats seuls. Un résultat correct peut cacher un raisonnement pourri, et le raisonnement est ce qui se répète. La prochaine question ressemblante recevra peut-être le même chemin faux — et cette fois, les deux erreurs ne se compenseront pas.

Alors j’ai changé ma façon de vérifier. Je ne demande plus seulement « est-ce que la réponse est bonne », mais « est-ce que le chemin pour y arriver est bon ». C’est plus lent, plus exigeant, et cela m’oblige à comprendre le problème moi-même — ce qui, au fond, était censé être mon travail depuis le début. Le modèle ne me dispense pas de penser ; il me tend un raisonnement à évaluer, et évaluer suppose que je sois capable de le refaire.

Il y a là une leçon plus large que l’IA. On juge trop souvent les décisions à leurs résultats. Un pari imprudent qui rapporte paraît sage. Un choix prudent qui échoue paraît stupide. Mais le résultat contient toujours une part de hasard, tandis que le raisonnement, lui, se rejoue à chaque fois. Le modèle m’a rappelé, à sa manière, qu’il faut se méfier des bonnes réponses autant que des mauvaises — et regarder, toujours, comment on y est arrivé.

– Serguey Asael Shinder