La frontière déchiquetée : savoir quand utiliser l'IA vaut mieux que savoir comment

L'expérience d'IA la plus instructive menée dans une vraie entreprise reste l'étude de terrain de 2023 conduite par des chercheurs de Harvard Business School avec le Boston Consulting Group. 758 consultants du BCG — pas des étudiants, pas des volontaires d'internet, mais des professionnels d'un cabinet d'élite — ont été répartis aléatoirement pour travailler avec ou sans GPT-4 sur des tâches de conseil réalistes.

Sur les tâches dans les capacités de l'IA — idées de produits, écriture persuasive, ébauches d'analyse — le groupe IA était impressionnant : plus de tâches terminées, plus vite, et une qualité supérieure de plus de 40 % en moyenne, le gain le plus fort allant aux consultants les moins performants.

Puis les chercheurs ont donné une tâche différente, conçue pour se situer juste au-delà de la compétence du modèle : un problème dont la bonne réponse exigeait de croiser des données de tableur avec des détails enfouis dans des entretiens, et où les indications plausibles de l'IA étaient fausses. Sur cette tâche, les consultants avec IA avaient 19 points de pourcentage de chances en moins d'atteindre la bonne réponse que ceux qui travaillaient sans.

Mêmes personnes, même outil, résultats opposés. Les chercheurs ont appelé la limite entre les deux zones la frontière technologique déchiquetée — déchiquetée parce qu'elle ne suit pas l'intuition. L'IA traite facilement des tâches d'apparence difficile et échoue sur des tâches d'apparence simple, et rien à la surface de l'outil ne vous dit de quel côté de la frontière vous vous trouvez.

Pourquoi ce résultat compte plus que les benchmarks

Les scores de benchmark disent ce qu'un modèle sait faire en moyenne. L'expérience BCG a mesuré quelque chose de plus important : ce qui arrive au jugement humain quand un assistant persuasif se trompe parfois. Les consultants qui ont échoué n'étaient pas des juniors négligents ; c'étaient des professionnels capables dont la vigilance avait été abaissée par la fluidité de l'outil, précisément là où il était faible.

L'étude a aussi documenté deux styles de travail chez ceux qui réussissaient : certains divisaient nettement le travail, déléguant des sous-tâches et les vérifiant ; d'autres passaient avec fluidité de leur propre jugement aux sorties du modèle. Ce que les deux styles partageaient : l'humain restait responsable de la réponse, et utilisait l'IA comme un intrant, pas comme un oracle.

La frontière bouge, la compétence reste

Objection évidente : c'était 2023, les modèles ont progressé. Vrai — et la frontière a bougé, mais elle n'a pas disparu. Elle est déchiquetée par nature : chaque génération de modèles rend triviaux d'anciens échecs tout en ajoutant de nouveaux modes d'échec assurés, souvent dans des domaines que les utilisateurs venaient d'apprendre à croire fiables. Une compétence arrimée à "ce que GPT-4 ne savait pas faire" expire ; une compétence arrimée à "comment trouver la frontière d'aujourd'hui pour cette tâche" n'expire pas.

Cette compétence de cartographie est concrète et enseignable. Avant de confier une classe de tâches à l'IA, la sonder avec des cas dont on connaît la réponse. Traiter les domaines à haute fluidité avec la même suspicion que les autres, car la fluidité ne suit pas l'exactitude. Guetter la signature du travail hors-frontière : une sortie précise, assurée et invérifiable à partir de ce qu'on sait déjà. Et re-tester quand le modèle ou la tâche change, parce que la carte d'hier n'est pas celle d'aujourd'hui.

L'implication pour les cursus

La plupart des formations à l'IA apprennent à faire fonctionner l'outil. Le résultat BCG suggère que la compétence pivot est positionnelle : savoir où passe la frontière pour ses propres tâches, et changer de style de travail selon le côté où l'on se trouve. En deçà, délégation et vitesse ; au-delà, l'IA comme sparring partner au mieux, l'humain portant le raisonnement.

C'est pourquoi une éducation sérieuse à l'IA passe tant de temps sur les cas d'échec. Pas pour décourager l'usage — en deçà de la frontière, les gains de l'étude étaient énormes et méritent d'être capturés — mais parce que les erreurs coûteuses vivent toutes de l'autre côté, et que seul un œil entraîné distingue les deux.