Les scientifiques de Stanford découvrent que le GPT-4 devient plus stupide avec le temps

Miscellanea / by admin / July 20, 2023

click fraud protection

La précision de la version payante de ChatGPT était inférieure à celle du chatbot gratuit.

Nouveau étude des scientifiques de l'Université de Stanford ont confirmé ce dont les internautes se plaignent depuis des semaines: ChatGPT Plus, basé sur GPT-4 est vraiment devenu plus stupide - contrairement à GPT-3.5, qui exécute la version gratuite du chatbot.

Dans leur étude, les auteurs ont comparé les réponses à différentes requêtes d'un chatbot basé sur GPT-4 et GPT-3.5. Ils constaté que le comportement du chatbot et la précision des réponses à certaines requêtes dans la nouvelle version sont significativement aggravé.

Les auteurs ont comparé les modèles de langage GPT-4 et GPT-3.5 publiés en mars et janvier. Ils ont constaté qu'au cours de cette période, la précision du GPT-4 diminuait sensiblement, tandis que celle du GPT-3.5, au contraire, augmentait.

Par exemple, la précision de la réponse à la question de savoir si 17077 est un nombre premier a chuté de 95,2 %, tandis que GPT-3,5, au contraire, est passée de 7,4 % à 86,8 %. De plus, les chances d'exécution réussie du code écrit par le réseau de neurones ont diminué dans les versions actuelles des deux modèles.

instagram viewer

Auparavant, le vice-président d'OpenAI, Peter Welinder, a déjà a répondu aux accusations des utilisateurs de ChatGPT Plus :

Non, nous n'avons pas rendu le GPT-4 plus stupide. Tout est exactement le contraire: nous rendons chaque nouvelle version plus intelligente que la précédente.

Maintenant, nous avons cette hypothèse: lorsque vous utilisez quelque chose de manière plus active, vous commencez à remarquer des problèmes que vous ne voyiez pas auparavant.

Pierre Welder

Vice-président produit chez OpenAI

Dans l'une des réponses à ce tweet, Welinder demandé fournir la preuve que le chatbot s'est aggravé. Une étude de scientifiques de Stanford est apparue 5 jours plus tard - et il n'y a pas encore eu de réponse d'OpenAI.

Ce n'est pas la première fois que GPT-4 est accusé de fournir de fausses informations. En mars, les analystes de NewsGuard découvertque ChatGPT basé sur GPT-4 est plus facile à faire mentir - tandis qu'OpenAI lui-même revendique une augmentation de 40% de la précision des réponses par rapport à GPT-3.5. DANS en particulier, dans les tests de NewsGuard, la nouvelle version du réseau de neurones était moins susceptible de réfuter les fausses informations - y compris les fausses données sur les événements et les théories modernes conspirations.