Utile pour tricher? On a testé ChatGPT avec des profs et ils n'ont pas été impressionnés

L’outil conversationnel ChatGPT est-il en train de bousculer le monde de l’enseignement? Alors que des profs craignent que les élèves utilisent l’intelligence artificielle pour tricher, une question se pose: l’éducation est-elle en péril?  

• À lire aussi: Tout ce qu’il faut savoir sur ChatGPT, le robot qui veut plaire aux humains

• À lire aussi: ChatGPT refuse d'écrire notre lettre de coming out

Pour savoir si c’est si simple que ça tricher avec ChatGPT, on a demandé au robot conversationnel de répondre à des exercices que des étudiants du secondaire et de l’université pourraient être appelés à effectuer. On a ensuite transmis les réponses à deux profs pour les noter.  

Des croûtes à manger en maths 

Pour commencer, on a soumis à ChatGPT une question de mathématiques de secondaire 4 dénichée sur le site Alloprof. Si le robot a bien compris en quoi consistait l’exercice, il a tout de même commis une erreur importante, remarque Sylvain Duclos, enseignant en mathématiques au Centre de services scolaire (CSS) des Navigateurs.  

«L’exercice, c'est de placer les chiffres en ordre des coefficients de corrélation linéaire, et il justifie que ça va de -1 à 1. C'est super, explique Sylvain Duclos, mais GPT se trompe, parce qu'il part des négatifs puis termine avec des positifs, alors qu'il devrait faire abstraction du signe “-”, puis y aller en valeur absolue.» 

Le fait que ChatGPT se soit trompé ne surprend en rien Sylvain Duclos, qui offre des conseils aux autres enseignants sur TikTok pour s’adapter à ChatGPT. Comme il le souligne, aussi convaincant soit-il, le robot n’est ni un dictionnaire ni une calculatrice. Un élève qui voudrait l’utiliser pour réaliser un problème qu’il ne comprend pas lui-même risquerait donc de se planter. 

 

C’est d’ailleurs ce qui fait dire à Sylvain Duclos que ChatGPT a le potentiel de devenir un «merveilleux outil pédagogique».  

Même si ChatGPT s’est trompé en réalisant l’exercice qu’on lui a soumis, il a en effet laissé des traces de sa démarche, ce qui pourrait aider un élève à mieux comprendre un problème mathématique.  

«Je trouve ça vraiment intéressant, parce que ça peut servir d'exercice à donner aux jeunes. GPT a tort, mais, à la limite, on vient de générer un exercice pour repérer des erreurs», souligne l’enseignant, qui avait déjà revu ses façons de faire lorsque Photomath est apparue. Cette application est capable de résoudre une équation mathématique ayant été photographiée avec son téléphone cellulaire. 

Se débrouille-t-il mieux en français?  

Pour tester les capacités de ChatGPT à écrire en français, on lui a ensuite demandé de rédiger une nouvelle. Le robot devait respecter deux contraintes: le texte devait faire 300 mots et raconter l’histoire d’un personnage qui découvre que sa mère n’est finalement pas sa mère.  

Sylvain Duclos le reconnaît: ChatGPT a mieux fait que dans le premier exercice. Le résultat final est toutefois loin d’être parfait et certains détails pourraient trahir l’étudiant qui l’aurait utilisé pour tricher.  

«Il ne fait presqu’aucune faute, ce qui est louche pour un élève de secondaire 3 ou 4. Les phrases sont longues et on a l’impression qu’il a fini sa nouvelle en catastrophe, parce que, justement, il n’a pas de plan narratif», remarque-t-il.  

Il devrait réviser son histoire du Québec  

Le professeur de l’UQAM spécialisé en intelligence artificielle appliquée au journalisme Jean-Hugues Roy a lui aussi mis l’outil conversationnel à l’épreuve.  

Le professeur à l’École des médias a demandé à ChatGPT de lui fournir trois faits sur chaque premier ministre québécois depuis 1867.  

Même si on aurait pu croire que ChatGPT aurait excellé dans cet exercice, Jean-Hugues Roy lui a attribué la note de 59,2% pour sa réponse, ce qui correspond à un E. Non seulement ChatGPT a souvent été trop vague dans ses réponses, en affirmant, par exemple, qu’un premier ministre avait «participé au développement économique du Québec», mais il n’a aussi pas été en mesure de fournir les dates exactes des mandats de certains d’entre eux.  

«Il ne passerait pas un cours d'histoire du Québec et je pense que j'ai été généreux dans ma correction», assure le professeur, qui soupçonne que l’outil préfère parfois rester vague pour éviter de se tromper. 

En ce sens, comme le soulignait Sylvain Duclos, les étudiants universitaires qui seraient tentés de faire faire leurs travaux par ChatGPT pourraient avoir de bien mauvaises surprises.  

Comment déjouer ChatGPT? 

Ça ne veut toutefois pas dire que les profs ne doivent pas rester vigilants, insiste Jean-Hugues Roy.  

Pour certains sujets, un texte généré par ChatGPT et retravaillé par un étudiant pourrait en effet passer inaperçu. Par exemple: une dissertation qui expliquerait les différences entre les œuvres des philosophes Max Weber et Karl Marx, «le genre de question rêvée pour ChatGPT».  

Dans de tels cas, il pourrait être quasi impossible pour un prof de prouver qu’un étudiant à triché, s'inquiète Jean-Hugues Roy.  

Pour cette raison, celui qui a déjà siégé à un comité pour évaluer des cas possibles de plagiat considère revenir aux bonnes vieilles évaluations en papier et en présentiel et lors desquelles les étudiants devaient laisser leur téléphone cellulaire à la porte. En Australie, de grandes universités ont justement annoncé revenir aux examens en papier après que des étudiants eurent été surpris à tricher en utilisant l’intelligence artificielle.  

Sylvain Duclos abonde dans le même sens: en limitant les travaux réalisés à la maison, les profs pourraient contrer les impacts négatifs que pourrait avoir ChatGPT. «Il faut diversifier nos évaluations, pas seulement donner deux gros travaux à 50%», mentionne-t-il.  

L’arrivée de ChatGPT est aussi l’occasion, selon lui, de revoir les compétences qu’on souhaite transmettre aux étudiants.  

«Ça remet à l’avant-plan [l’importance] d’avoir des connaissances, pour juger de la validité de ce que ChatGPT te donne. Peut-être que de savoir comment poser de bonnes questions à ChatGPT va devenir une compétence», conclut Sylvain Duclos.  

À voir aussi: