Is ChatGPT ready for customer relations?
Feb 1, 2023
Le modèle ChatGPT, mis en ligne par OpenAI, a frappé les esprits par sa capacité à mener des dialogues incroyablement fluides. Est-il prêt pour autant à répondre à de véritables demandes clients ? Que nous apprend-il au final ?
Arrivé en fanfare en Novembre 2022, ChatGPT est le premier service en ligne à atteindre le million d’utilisateurs en une semaine. Comme expliqué dans notre article, le modèle de langage ultra-large (LLM pour Large Language Model) intègre des analogies textuelles apprises sur de très gros corpus issus du web et d’archives de publications digitales, couvrant sciences, industries, humanités, debugage de code… ChatGPT a été de plus entrainé par renforcement pour mener des dialogues suivis, et a aussi appris à se méfier des requêtes des utilisateurs et à rejeter de prime abord des sujets jugés sensibles (violence, racisme, phishing…), mais il se prête volontiers à des jeux de « prompting » ou de « prompt engineering » pour façonner ses conversations et ses productions textuelles ou de code. Dès lors, les essais et analyses déferlent…
Forces et faiblesses de ChatGPT
Du côté des forces, il est indéniable que le mega-modèle génère, sans aucune adaptation technique, si ce n’est du « prompting », des réponses d’une grande fluidité, et ce quel que soit le sujet. Les réponses sont syntaxiquement et sémantiquement correctes (du moins en anglais, quelques fautes de syntaxe, rares, pouvant apparaitre en français) et restent plutôt cohérentes tout au long de la conversation. Les réponses générées sont par ailleurs très denses en information, parfois même quand cette information n’est pas sollicitée, le modèle aimant à insérer quelques éléments de définition en introduction d’une réponse, ou à ajouter à la fin quelques éléments de justification supplémentaires.
Cette force conduit directement à la principale faiblesse de ChatGPT : l’aspect non contrôlé des informations énoncées. Celles-ci peuvent être parfaitement correctes, mais tout aussi souvent sont-elles fausses (inventions d’auteurs et d’articles scientifiques, faux diagnostiques informatique hyper crédibles) ou propres à induire en erreur (mélange d’informations correctes et à jour avec d’autres obsolètes depuis une dizaine d’années) par exemple quand il s’agit d’orienter dans des gammes de produits. La réponse peut aussi être simplement trop verbeuse ou mal à propos, comme dans ces exemples de simulation de callbot bancaire. Dans les exemples ci-dessous, la capacité du modèle à générer des phrases est impressionnante, mais le premier extrait déroule des questions et propositions en partie contradictoires, sans laisser l’interlocuteur s’exprimer, le second révèle une appréhension de la carte bancaire calquée sur le modèle américain. Il est de fait très difficile de contrôler la conformité professionnelle de la sortie générée à la volée.
ChatGPT est-il utilisable en production ?
Première réponse éloquente, celle de Stackoverflow qui a banni ChatGPT de son forum d’entre-aide entre développeurs informatiques, en raison du bruit trop grand induit par les inventions, aussi fausses que crédibles, du mega-modèle.
Une autre réponse vient directement de la firme à l’origine de ChatGPT, OpenAI, adossée depuis 2020 à Microsoft. OpenAI projette un chiffre d’affaire d’un milliard de dollar d’ici 2024, or, à date, ChatGPT n’est pas à vendre. Le LLM aux millions d’utilisateurs qui défraie les blogs est manifestement là pour attirer l’attention sur les autres modèles prêts à l’emploi d’OpenAI, qui ont servi de base à son apprentissage. Les LLM de la famille GPT3 sont eux dotés d’une tarification explicite, tarification multipliée par six si on souhaite en utiliser une version fine-tunée, c’est-à-dire adaptée à une tâche et un domaine précis, via un apprentissage supervisé.
La réponse aussi bien externe qu’interne est donc claire : Non, ChatGPT n’est pas destiné à la production. En revanche d’autres LLM fine-tunés, peut-être…
Quelle perspective pour la relation client ?
Un fois digéré le fait que ChatGPT est un dispositif conçu pour interagir avec des beta-testeurs et des influenceurs et non un système destiné à la production, reste le phénomène des LLM et d’une façon plus générale, du deep learning pour les interactions conversationnelles. Ces modèles ont-ils, ou non, un rôle à jouer dans le futur de la relation client ?
Chez ViaDialog nous sommes persuadés que oui : si notre stack intègre déjà des briques neuronales de dernière génération, dans un environnement contrôlé et éprouvé en production, nous continuons à préparer la suite, pour offrir des systèmes de dialogue encore plus fluides, efficaces et compétents. Ne manquez pas nos futures communications sur le sujet !
Article rédigé par Ariane Nabeth-Halber, Directrice IA @ViaDialog
Pour en savoir plus…
– Une bonne introduction à word2vec, la brique de base des Large Language Models (LLM), aussi appelé embedding ou « plongement de données » , il s’agit d’un codage des mots en vecteur, qui capture déjà certaines analogies sémantiques.
– Autre mécanisme fondamental des LLM, l’attention :
A. Vaswani, N. Shazeer, N. Parmar, J. Uszko- reit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pages 5998–6008, 2017.
– BERT, Le premier LLM basé sur l’attention et l’apprentissage auto-supervisé :
J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
– Les premières prouesses de GPT-3 :
T. Brown, B. Mann, N. Ryder, M. Subbiah, J. D. Kaplan, et al. Language models are few-shot learners. In Advances in Neural Information Processing Systems, volume 33, pages 1877– 1901, 2020.
– L’équivalent de GPT-3 chez Google Deepmind :
J. W. Rae, S. Borgeaud, T. Cai, K. Millican, J. Hoffmann, et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv preprint arXiv:2112.11446, 2021.
– L’équivalent de chatGPT chez Google :
R. Thoppilan, D. De Freitas, J. Hall, N. Shazeer, A. Kulshreshtha, et al. LaMDA: Language models for dialog applications. arXiv preprint arXiv:2201.08239, 2022.
Succès et déboires de Galactica de Facebook-Meta :
