Le prompt, c’est la question ou la commande que l’on écrit dans un chatbot comme chatGPT. Or, la qualité de ce texte est déterminante pour obtenir une réponse pertinente. C’est même un métier : l’ingénieur·e de prompt (prompt engineer ou ingénieur de requête) est une personne spécialisée dans la rédaction de ces commandes et qui les adapte au fonctionnement de l’IA afin d’en obtenir les meilleurs résultats.
Le second atelier de notre exploration de l’outil chatGPT a permis de mobiliser l’ingénieur·e de prompt qui sommeillait en nous. Verdict? De grands principes utiles (re)découverts, des interrogations qui restent et de l’entrainement nécessaire pour progresser.
Recherche laborieuse d’inspiration
Après un retour sur les découvertes du premier atelier, nous avons joué le rôle d’un étudiant de première année de Licence de droit qui doit rédiger une dissertation en Histoire du droit sur le thème de « l’hommage féodal-vassalique ». Comme nous, cet étudiant n’avait pas beaucoup d’idées sur la question ni sur la méthodologie de la dissertation et s’est donc tourné vers chatGPT pour rédiger son devoir.
L’hommage est une convention entre deux hommes libres impliquant pour l’un (le seigneur) l’obligation de protection et le prêt d’un terrain (un fief) et pour l’autre (le vassal) l’obligation de lui fournir une assistance militaire.
Pour en savoir + sur l’aspect juridique de l’hommage
Image : Charles d’Orléans reçoit l’hommage d’un vassal. Lettrine ornée, xve siècle, Paris, Archives nationales, Q477.
« À quoi correspond féodo-vassalique? » chatGPT génère une définition juste des termes, telle qu’on la trouverait dans une encyclopédie généraliste.
« Je suis un étudiant, je dois faire une dissertation sur l’hommage féodo-vassalique. peux-tu m’aider? » bon réflexe des participant·es : préciser qui pose la question. Ça n’a l’air de rien mais c’est important car la réponse générée doit être adaptée à un contexte spécifique. L’IA peut alors « jouer un rôle » et adapter sa réponse à une façon d’écrire.
La réponse obtenue avec ce prompt n’était pas satisfaisante : nous n’avions pas précisé la formation de cet étudiant ni le type de dissertation voulue. En effet, la méthodologie diffère d’une discipline à l’autre et le plan suggéré par l’IA ne correspondait pas du tout à celle attendue en droit : 2 parties de développement qui répondent à une problématique.
« Je suis un étudiant en histoire du droit. je dois faire une dissertation en 2 parties. reformule le plan en faisant ressortir une problématique » si une problématique est bien proposée, elle reste vague, pas assez spécifique et l’IA s’obstine à proposer un plan en 4 parties…
« Le plan détaillé doit être le suivant : une introduction, un développement en 2 parties et une conclusion. reformule le plan » formellement, l’IA aboutit à quelque chose de satisfaisant : un plan en 2 parties, composées de sous-parties. Sur le fond cependant, nous constatons l’absence de raisonnement et de problématisation. Il s’agit plutôt d’un catalogue de connaissances, peu spécifiques, ce qui ne répond donc pas à l’exercice.
« Je suis un étudiant en première année de licence en droit général et politique. mon enseignant me demande un plan détaillé de dissertation sur le sujet suivant : « l’hommage féodo-vassalique ». suis les règles de dissertation de droit du site dissertationsenligne.com » ChatGPT ne peut pas effectuer de recherche sur web et a été entraîné sur des textes en ligne d’avant 2021. Il était donc possible qu’il connaisse ce site. Or, l’outil génère ses mots les uns à la suite des autres en réduisant le plus probable : il ne peut « comprendre » cette commande qui demande de l’interprétation. D’ailleurs, la réponse qu’il fournit revient à un plan avec 5 parties de développement.
« Quelle est la méthodologie d’un plan de dissertation en droit à l’université ? » la réponse fournie alors est tellement générique qu’elle s’applique à l’écriture argumentative générale et fonctionne pour des dissertations dans d’autres disciplines.
« Quelle est la méthodologie d’un plan de dissertation dans le domaine juridique à l’université? » cette nouvelle formulation teste une méthode de prompting qui est la spécificité des mots choisis. « Droit » en français est polysémique et se trouve dans de nombreux contextes sans rapport avec le domaine en question alors que « juridique » se retrouvera dans des textes qui le concerne.
.. Hélas, la méthodologie proposée n’est pas différente de la précédente et suis un canevas identique.
Dans la première partie de la dissertation de droit sur le sujet « l’hommage féodo-vassalique », rédige entièrement la partie A de la première partie du développement. la problématique de la dissertation est « Dans quelle mesure l’hommage féodo-vassalique est-il un outil de pouvoir et de contrôle social dans la société médiévale européenne? la première partie du développement est « Les origines et la signification de l’hommage féodo-vassalique » Ici, nous décidons d’une autre approche qui consiste à apporter plus de détails à notre demande. Nous ne demandons plus un plan mais bien la rédaction complète d’une partie.
résultat : une réponse stéréotypée qui expose des faits vagues, très génériques et surtout sans argumentation ou réflexion ce qui est l’objectif d’un exercice de dissertation.
« Dans quelle mesure l’hommage féodo-vassalique est-il un outil de pouvoir et de contrôle social dans la société médiévale européenne? » Enfin, nous lui posons la question de la problématique directement pour un résultat similaire au précédent.
Bilan de nos tribulations
ChatGPT semble capable de produire un exposé de connaissances sur un sujet sans élément de réflexion ou prise de position argumentée et en s’exprimant dans une langue très lisible, structurée et sans erreurs. Cela nous amène à réfléchir aux questions d’évaluation : comment les formuler et comment évaluer des compétences que l’IA ne peut pas imiter?
Autre point important : sans une connaissance préalable et suffisante d’un sujet, il est difficile voire impossible d’évaluer la pertinence de la réponse fournie par l’IA. Dans ces cas-là, un étudiant capable d’utiliser efficacement cet outil est aussi capable de réaliser son évaluation sans lui puisqu’il doit comprendre le sujet et les attendus, de contenus comme de méthodologie, pour interroger le chatbot de façon adéquate.
Méthode de rédaction de prompts pour chatbot
la fiche suivante propose différentes stratégies de rédaction de prompts pour interagir avec un chatbot. Nous les avons empruntées à 2 sources principales que vous pouvez consulter pour aiguiser vos talents d’ingénieur·e de prompts!
- Chatbot Prompting: A guide for students, educators, and an AI-augmented workforce. (pdf en anglais)
- Learn prompting ( site web en anglais et français)
Le prochain atelier permettra de réflechir à la façon d’amener chatGPT dans la classe : comment en parler aux étudiantes et étudiants? Faut-il leur interdire l’usage de chatGPT? le réglementer? l’encourager? à quelles conditions? quelles sont les mesures préventives ou punitives envisageables?
Le recours à cet outil interroge en effet des valeurs profondément ancrées dans l’identité universitaire; le raisonnement critique, la réflexion, l’honnêteté intellectuelle, la probité scientifique et a toutes les chances de modeler l’expérience professionnelle future des étudiantes et étudiants.
Et vous?
Souhaitez-vous partager un projet ou un retour d’expérience à la communauté enseignante ?
Pour toute autre question relative à la pédagogie, n’hésitez pas à nous écrire à l’adresse : dpi.pedagogie@univ-lr.fr
