Un assistant RAG utilisé tous les jours par 2 000 conseillers.

Sur la plateforme iAdvize, des conseillers répondent en direct aux visiteurs des marques clientes. Chaque marque a ses produits, ses règles, sa documentation. Le métier du conseiller : répondre vite et juste, pendant que le visiteur attend.

La connaissance existait. Elle dormait dans des documentations que personne ne peut relire en pleine conversation. L'idée de la mission : générer des recommandations de réponse pendant l'interaction, à partir de la documentation du client concerné.

Un système RAG s'assemble en couches : ingérer la documentation, retrouver les bons passages, générer la réponse. En 2023, aucune de ces couches n'allait de soi. Pour chacune, la même décision revenait : ce qu'on développe, ce qu'on achète, et à quel prix.

Et une question au-dessus des autres : comment savoir qu'une réponse générée est correcte, avant de la proposer à 2 000 personnes dont c'est l'outil de travail quotidien.

L'arbitrage développer ou acheter s'est fait couche par couche, sur briques OpenAI pour la génération. Pas une décision globale « build vs buy » : une décision par étage du système, avec son coût et son risque propres.

La qualité s'est jugée sur des cas réels annotés : des conversations vraies, une grille d'évaluation, un verdict par réponse. Ce jeu de cas a décidé de ce que l'assistant avait le droit de proposer, puis a servi de filet : après un changement de modèle ou d'instructions, on rejoue les cas et on compare.

Puis le déploiement, jusqu'à la production. L'assistant propose, le conseiller garde la main : il relit, ajuste, envoie. C'est ce qui rend le système acceptable pour le métier, et c'est une décision de produit, pas de modèle.