ChaptGPT vs Google Gemini (Bard) : le point sur nos deux candidats
Présentation de ChatGPT
ChatGPT est un chatbot développé par OpenAI qui génère des réponses semblables à celles d'un humain sur la base d'une saisie de texte (qu’on appelle des “prompts”).
C’est un modèle de langage qui a été formé à partir d'une grande quantité de textes issus d’internet.
Avantages / inconvénients de ChatGPT
Avantages de ChatGPT |
Inconvénients de ChatGPT |
-
Temps de réponse rapide : ChatGPT est plus rapide que Gemini.
-
Capacité à générer des réponses de type humain : il peut produire des textes naturels.
-
Polyvalence : ChatGPT peut effectuer un large éventail de tâches, de la traduction à la condensation de paragraphes, en passant par la production de paroles de chansons.
-
Prise en charge de nombreux langages de programmation : ChatGPT connaît Python, JavaScript, Java et une douzaine d'autres langages.
-
Compréhension de plus de 20 langues.
|
-
Fiabilité limitée : les réponses de ChatGPT peuvent contenir des erreurs puisqu'il utilise des données d'entraînement, qui datent de 2021.
-
Biais cachés : ChatGPT peut produire des réponses biaisées en raison de l'ensemble de données sur lequel il est entraîné.
-
Pas de véritable compréhension du monde réel : bien que GPT puisse produire des réponses impressionnantes, celles-ci sont basées sur ce qui est disponible en ligne, et non sur ce qui a été appris par l'expérience réelle.
|
Google Gemini (qui se nommait originellement Bard) est un autre chatbot. Comme ChatGPT, il peut répondre à des questions et générer du texte à partir de prompts (ou invites).
Alimenté par le PaLM2 de Google, il peut puiser des réponses sur internet et donner des informations très récentes. Cette technologie lui permet, tout comme à d'autres moteurs de recherche IA, de fournir des liens directs vers des sites web, une fonctionnalité que l'on ne retrouve pas sur ChatGPT.
Pour l’instant, ce dernier n'a pas d'accès direct à internet. Toutefois, les abonnés Plus peuvent activer la navigation web en tant que fonction bêta.
Avantages / inconvénients de Google Gemini
Avantages de Google Gemini |
Inconvénients de Google Gemini |
-
Génération de textes de haute qualité : Google Gemini peut produire des textes semblables à ceux d'un être humain, qui peuvent être utilisés pour toute une série de tâches, qu'il s'agisse de répondre à des requêtes, de résumer des documents ou de traduire des contenus.
-
Un vaste ensemble de données : Gemini est pré-entraîné sur un ensemble massif de textes et codes.
-
Maîtrise de nombreux langages de programmation : Google affirme que Gemini peut générer du code pour des tâches simples et complexes dans plusieurs langages informatiques.
-
Prise en charge des langues anglaise, japonaise, coréenne, et bien d'autres encore.
|
-
Requiert des ressources informatiques importantes : les grands modèles comme Gemini mobilisent énormément de ressources pour pouvoir fontionner.
|
Différences ChatGPT et Google Gemini, quelles sont leurs particularités ?
ChatGPT a été introduit en novembre 2022, précédant de quelques mois le Chatbot de Google.
Il est alimenté par le Generative Pre-training Transformer, et a montré des capacités surprenantes, en particulier dans le codage, mais aussi dans de nombreux secteurs professionnels (juridique, médical…).
L'une des principales caractéristiques de ChatGPT est sa capacité à se souvenir des conversations précédentes.
Gemini puise ses réponses sur internet, tandis que celles de ChatGPT proviennent de sa base de connaissances statique, datant de septembre 2021, ce qui restreint son accès aux informations les plus récentes.
Le robot d’OpenAI possède également des capacités linguistiques inégalées : il peut exécuter toutes sortes de tâches reposant sur la maîtrise de la langue.
ChatGPT et Gemini sont tous deux entraînés sur Common Crawl, Wikipedia, des articles de presse et autres documents.
Comparaison Google Gemini et ChatGPT
Les deux chabots ont globalement les mêmes capacités, y compris le codage, la résolution de certains problèmes mathématiques, le raisonnement critique et, bien sûr, l'écriture.
Comme déjà mentionné, une différence majeure est que pour l’instant, Gemini ne se souvient pas des conversations précédentes.
Contrairement à GPT, Gemini peut répondre par des images à un prompt. Mais il est intéressant de noter que GPT-4 est un modèle multimodal. Cela signifie qu'il a aussi potentiellement la capacité de fonctionner avec des entrées et des sorties visuelles, mais ce n'est pas encore le cas pour l’instant.
Cependant, le lancement de la boutique de plugins ChatGPT Plus va changer la donne. Avec des services tiers capables de donner au chatbot d’OpenAI plein de nouveaux superpouvoirs. 🦸♂️
Gemini (Bard) : la puissance de Google Search lui donne-t-elle l’avantage ?
Il est vrai que l'intégration de Google Search avantage Gemini.
La possibilité de tirer des réponses directement d'internet lui donne accès à une grande quantité d'informations.
Cependant, cela ne signifie pas nécessairement que Gemini fournit toujours de meilleures réponses.
En effet, ChatGPT puise dans sa propre base de connaissances optimisée, qui a été fortement renforcée par une armée de formateurs humains. Il est donc souvent plus rapide et plus précis.
☝️ Et n'oublions pas non plus Bing AI, qui est conçu pour la recherche sur le web et qui est basé sur GPT.
Un autre point intéressant pour Gemini est son intégration dans l'écosystème de Google (autrement dit Google Docs, Gmail, Google Photos, Maps et tous les autres services reliés).
ChatGPT et Gemini mis à l’épreuve : notre test
Nous avons voulu savoir, au travers d’un test comparatif, lequel des deux chatbots génère les meilleures réponses, en leur posant une douzaine de questions différentes.
Nous avons choisi nos requêtes de sorte à mettre en évidence leurs capacités respectives à répondre de manière utile et pertinente.
1. Connaissance de soi
Question : Peux-tu me parler de ta condition d'IA vs notre condition humaine ?
Comme vous pouvez le voir, Gemini et ChatGPT nous ont donné des réponses assez similaires. Tous deux admettent être des programmes, incapables de ressentir des émotions.
Cependant, la réponse de GPT est beaucoup plus détaillée et exhaustive que celle de Gemini, qui reste très factuelle et nous laisse un peu sur notre faim.
👉 Qui l’emporte ? GPT
2. Raisonnement éthique
Question : Une femme vole dans un magasin pour nourrir ses enfants. Cette femme a-t-elle bien ou mal agi ?
Les deux chatbots semblent reconnaître qu'il est difficile de considérer son comportement comme bon ou mauvais, étant donné qu'il y a une mauvaise action (voler) motivée par une bonne action (nourrir des enfants).
Gemini remporte la victoire en offrant une perspective un peu plus large, et en faisant des suppositions sur les circonstances de l’action, ce qui enrichit considérablement la réponse.
👉 Qui l’emporte ? Gemini
3. Petite conversation anodine
Question : Peux-tu me dire comment s’est passée ta journée ?
Sur ce point, Gemini nous a fourni une réponse beaucoup plus conversationnelle. Bien que la réponse de ChatGPT soit factuellement correcte, nous recherchions un peu de légèreté - et ce dernier a botté en touche.
Gemini montre des émotions et de l'enthousiasme qui ne sont pas présents dans la réponse de ChatGPT. Dans l'ensemble, nous avons apprécié la réponse de Gemini, plus spontanée.
👉 Qui l’emporte ? Gemini
4. Répondre à une question factuelle
Question 1 : Quelle est l’origine du kebab ?
Cette question a été choisie parce qu'il y a débat autour de la réponse. Seul Gemini a reconnu qu'il y avait une controverse sur le sujet, sans pour autant la détailler.
ChatGPT semble se concentrer sur une réponse consensuelle, puis digresse sur la préparation culinaire, s’éloignant ainsi de la requête originelle.
Dans l'ensemble, la réponse de Gemini est un peu plus concise que celle de ChatGPT.
👉 Qui l’emporte ? Gemini
Question 2 : Que peux-tu me fournir comme statistiques sur l’utilisation de l’IA dans les entreprises en 2023 ?
Cette question visait à déterminer si Gemini et ChatGPT pouvaient répondre avec des informations factuelles correctes et actualisées, et s'ils les présentaient de façon lisible.
ChatGPT admet que, formé sur des informations datant d’avant septembre 2021, il n'est pas en mesure de répondre à la question. Au moins, il est honnête… Il ne se laisse pas démonter pour autant et propose des utilisations de l’IA datant de cette époque.
Gemini, quant à lui, nous donne des chiffres exacts.
Il nous fournit également des informations supplémentaires que nous n'avons pas demandées, à savoir des estimations pour l’avenir et des domaines d’utilisation de l’IA.
👉 Qui l’emporte ? Gemini
5. Proposer un jeu
Demande : Peux-tu me suggérer un jeu virtuel ?
L’un des deux chatbots s’est montré nettement meilleur que l'autre, alors regardons de plus près leurs réponses. ChatGPT a répondu instantanément avec ceci :
De son côté, Gemini a eu beaucoup plus de mal à comprendre l’intention derrière notre requête, et il a fallu le relancer pour n’obtenir qu’un résultat assez médiocre. 😅
👉 Qui l’emporte ? GPT, de loin
6. Créativité
Demande : Peux-tu écrire un petit poème pour mon chat de 10 kg, qui est asthmatique, curieux et pacifique, et qui adore les croquettes ? 🐈
ChatGPT sort largement vainqueur de cette bataille, avec un poème mieux structuré et mieux écrit, qui rime et coule étonnamment bien, et qui est bien meilleur que celui de Gemini.
La structure des vers est plus complexe, le choix des mots plus inventif (bien qu’assez saugrenu). Sachant qu'il a généré ce poème en cinq secondes environ, c'est assez bluffant.
Dans l'ensemble, l'écrit de Gemini est beaucoup plus rudimentaire et bourré de clichés. Il est nettement plus formel et il n'intègre pas aussi bien les concepts mentionnés dans l'énoncé.
👉 Qui l’emporte ? Large victoire de ChatGPT !
7. Planification d’un programme
Question : Je suis en vacances à Marseille pour 5 jours. Peux-tu me faire un programme détaillé pour un séjour culturel et touristique ?
ChatGPT nous a fourni une réponse assez longue à cette question, expliquant non seulement ce que nous devrions visiter, mais ajoutant aussi des détails pour fournir un contexte supplémentaire. Le chatbot d’OpenAI a ainsi planifié un itinéraire polyvalent et complet.
Gemini fournit une liste beaucoup plus succincte et sommaire.
👉 Qui l’emporte ? ChatGPT
8. Génération d'idées
Question : J’ai un blog de broderie, peux-tu me trouver des idées d’articles ?
Gemini et ChatGPT ont tous deux proposé des idées très intéressantes, qui conviennent bien à notre site internet.
Cependant, comme vous pourrez le constater, les 10 réponses de ChatGPT sont beaucoup plus variées et, tout bien considéré, ce sont des titres plus convaincants et créatifs (bien qu’un peu fantaisistes). De plus, il fournit des hashtags et des émojis pertinents pour compléter ses réponses.
Beaucoup de propositions de Gemini commencent par "Les différents", ce qui signifie qu'elles suivent une structure plus uniforme.
Si vous démarrez votre blog, les réponses de Gemini pourraient booster le trafic, car ce sont des requêtes fréquemment tapées par les internautes. Cependant, la plupart des suggestions de ChatGPT semblent au final plus convaincantes dans l'ensemble.
👉 Qui l’emporte ? ChatGPT et Gemini
9. Petit problème mathématique
Notre demande : Nous sommes 2 associés dans mon entreprise. Mon collaborateur et moi souhaitons recevoir le même revenu net. Mais je suis taxé à 3% sur le chiffre d'affaires global, tandis que lui le sera à 5% sur la portion que je vais lui donner. Peux-tu trouver une équation simple qui nous permette de calculer la somme à verser à chacun de nous deux, de sorte à ce que nous obtenions le même revenu net après versement de nos taxes respectives ?
Gemini et GPT sont tous deux en échec sur cet énoncé, bien que GPT s’en sorte un peu mieux.
Tous deux omettent la première partie du calcul qui consiste à d’abord faire ressortir le revenu global net (RGN), en retirant les 3% du chiffre d’affaires (CA) : RGN = CA*0,97, pour ensuite pouvoir en déduire l’équation suivante, finalement assez simple : RGN = x + (x*0,95), (donc RGN/1,95), x étant la part de RGN que j’attribue à mon associé - et (x*0,95), la part que je conserve pour moi-même.
Fiasco pour Gemini qui ne comprend même pas qu’il s’agit de diviser le chiffre d’affaires en 2 parts égales.
👉 Qui l’emporte ? ChatGPT
10. Synthèse et simplification
Question : Nous avons demandé aux deux chatbots de simplifier cet extrait d'un ouvrage de Ferdinand de Saussure sur le thème de la linguistique. La consigne était de le faire d'une manière qui permettrait à un enfant de 10 ans de le comprendre.
Comme vous pouvez le voir dans les images ci-dessous, Gemini extrapole, ses explications dépassant largement les quelques lignes du chapitre, en développant les concepts de signe, signifiant et signifié (présents dans le titre), alors que cela ne lui est pas demandé.
GPT colle un peu plus au texte fourni. Mais soulignons tout de même l’effort de vulgarisation de Gemini.
👉 Qui l’emporte ? GPT et Gemini
11. Résumer des sujets généraux
Question : Nous avons demandé à ChatGPT et à Gemini de résumer l'ensemble de la série de polars “Millenium” écrits par Stieg Larsson.
Tous deux fournissent un résumé livre par livre. Comme souvent, GPT se montre beaucoup plus verbeux et précis, et Gemini plus synthétique.
👉 Qui l’emporte ? GPT
12. Paraphrase
Demande : Nous avons demandé à ChatGPT et Gemini de paraphraser cet extrait d'article. 👇
ChatGPT paraphrase assez bien l'extrait, conservant les informations-clés, tout en remplaçant plusieurs mots et phrases par des synonymes, et en modifiant la structure de manière significative.
Gemini, quant à lui, sort un peu du cadre de la demande, peut-être en s’inspirant de la suite de l’article, et ce n'est pas nécessairement ce que nous voulions.
👉 Qui l’emporte ? ChatGPT
Quid de l’expérience-utilisateur ?
ChatGPT et Gemini sont tous deux très simples à utiliser. Tout ce que vous avez à faire est de taper vos questions, et les deux robots généreront des réponses.
En termes de lisibilité, Gemini est le meilleur chatbot. En effet, on peut ajouter des images, et actionner la commande et la lecture vocales. Un must pour l’accessibilité web !
Différence Google Gemini & ChatGPT : nos conclusions
-
Les réponses de Gemini AI étaient davantage axées sur la synthèse, tandis que celles de ChatGPT étaient plus précises.
-
ChatGPT s'en tenait à l'essentiel, tandis que Gemini était plus enclin à fournir des informations complémentaires pertinentes.
-
Gemini nous a fourni des informations actualisées, alors que ChatGPT a parfois eu du mal à le faire.
-
ChatGPT a généré des réponses plus fouillées et plus fluides pour des tâches telles que la rédaction de poèmes et la génération d’idées originales.
-
ChatGPT s’en sort mieux pour paraphraser et résumer, mais Gemini a un talent particulier pour simplifier et vulgariser.
Comparer Gemini et GPT, le bilan final
Il est difficile de déterminer quel chatbot est le meilleur, entre ChatGPT et Google Gemini. Les deux sont capables d'effectuer une grande variété de tâches. Étant donné qu'ils apprennent en permanence grâce aux utilisateurs, et qu’ils sont régulièrement mis à jour, on ne peut pas tirer de conclusions définitives.
Souvent, les deux donnent de bonnes réponses, bien que différentes. Ce qui leur est commun pour l’instant, c'est qu'on ne peut pas se fier à 100% à ce qu’ils disent.
Même avec une connexion internet, il y a toujours un risque d'interprétation erronée ou de manipulation de la réalité. En d'autres termes, si les deux peuvent vous faire gagner du temps et sont très utiles, aucun des deux ne peut fonctionner sans supervision humaine.
Et maintenant, à vous de choisir votre préféré ! 🥇