Pourquoi une IA a besoin d'une carte pour naviguer
Faire confiance à une IA qui agit seule ne dépend pas de l'IA : cela dépend de ce que l'entreprise a écrit sur le sens de ses propres mots.
Peut-on faire confiance à une IA qui va agir seule ?
En réalité, cette confiance ne dépend pas de l'IA elle-même, mais du fait d'écrire clairement ce qu'elle veut dire quand elle emploie vos propres mots.
Toute entreprise sait ce qu'est un « client actif », sait ce qui compte comme « urgent », sait quand un dossier est « résolu ». Seulement, elle le sait comme on sait faire du vélo, dans le flux du travail, et cela n'est souvent pas explicite. C'est une connaissance qui vit dans la tête de ceux qui travaillent là depuis des années, dans des décisions prises au bon sens, dans des exceptions que tout le monde comprend sans qu'il faille les expliquer, et qui n'a jamais eu besoin d'être écrite parce qu'il y a toujours eu un humain à proximité pour interpréter le contexte.
Cela a cessé de suffire au moment où nous avons eu à disposition une technologie passée du simple fait de répondre à celui d'agir.
Tant qu'elle ne faisait que suggérer une réponse et que quelqu'un vérifiait avant d'envoyer, une erreur était agaçante, mais réversible. Maintenant, elle peut approuver le remboursement, annuler le contrat, prioriser la demande, envoyer le message. Quand quelqu'un s'en aperçoit, l'erreur a déjà eu lieu, et cet intervalle de relecture sur lequel nous avons toujours compté comme filet de sécurité a disparu.
Un nouvel employé s'arrête et réfléchit devant une question : « ce dossier compte-t-il comme urgent ou non ? » Cette pause coûte quelques minutes, mais elle est fondamentale pour éviter l'erreur.
L'IA ne s'arrête pas, et elle ne sait pas qu'elle ne sait pas. Elle produit une réponse avec la même assurance que toujours, qu'elle soit juste ou complètement fausse, parce qu'il n'existe en elle aucun signal du type « là, je ne suis pas sûre, quelqu'un peut vérifier ? ». Elle décide et poursuit.
Et le problème n'est pas qu'elle se trompe une fois ; nous pouvons tous nous tromper. Le problème, c'est qu'elle peut se tromper de façon systématique, toujours dans la même direction, à la vitesse de la machine, sans déclencher aucune alarme.
Si la définition de « client important » qu'elle a apprise est un peu de travers, elle ne traitera pas un client de la mauvaise façon une seule fois ; elle traitera mal tous les clients qui ressemblent à celui-là, tous les jours, en silence, jusqu'à ce que quelqu'un remarque un motif étrange dans les chiffres ou, pire, jusqu'à ce que quelqu'un le ressente dans sa propre chair.
C'est pourquoi définir ce qu'un mot signifie dans votre entreprise ne devrait plus être une tâche technique comme les autres, mais une décision fondamentale.
Quelqu'un a décidé, à un moment donné, ce qu'il faut faire du client qui paie en retard mais qui est là depuis dix ans. Quelqu'un a décidé ce qu'est une réclamation grave et ce qui n'est qu'une mauvaise journée du client. Ces décisions portent du jugement, portent du contexte, portent l'expérience de celui qui répond des conséquences.
Quand vous confiez l'opération à une IA sans jamais avoir formalisé ces décisions, vous externalisez un jugement que personne n'a jamais rendu volontairement vers un système qui rendra ce jugement d'une manière ou d'une autre, avec ou sans votre participation.
Savez-vous ce que votre entreprise veut dire par les mots qu'elle emploie chaque jour que Dieu fait ? Est-ce écrit quelque part, ou espérez-vous que l'IA comprenne comme vous comprendriez ?
La hâte de mettre l'IA en action court devant la question la plus élémentaire, celle qui devrait venir en premier. Avant de demander ce que l'IA fera seule, il vaut peut-être la peine de demander : qu'est-ce que nous n'avons jamais pris le temps d'écrire ?