Le prompt
20 MOTS DE L’IA FORMATIVE, LE PETIT TEMNA EXPLIQUE
Le prompt fait partie des nouveaux mots de l’IA et des nouvelles compétences ainsi que des nouveaux métiers comme le prompt engineer, l’art de bien rédiger les prompts.
De quoi s’agit-il ?
L’intelligence artificielle est un algorithme qui prédit le mot suivant et le prompt est la contextualisation qui permet de réaliser cette prédiction.
Prenons un exemple. Jusqu’en septembre 2024, si l’on demandait à Chat GPT de résoudre l’exercice suivant : dans un restaurant un plat et un café coûtent 11 euros, sachant que le plat coûte 10 € de plus que le café, combien coûte le café ? Chat GPT ne calcule pas la solution, il prévoit la réponse attendue, il est fort à parier qu’il réponde 1 € comme la majorité des humains. Mais si l’on demande au LLM d’être un professeur de mathématiques, il prévoira comme un professeur et prédira 0,5 € et démontrera la réponse.
L’intelligence artificielle ne cherche pas la vérité, il cherche une histoire crédible.
Tout le travail du prompt est de mettre du contexte pour orienter l’histoire.
La conversation affinera l’orientation.
Si l’on demande à son LLM de prévoir le coup suivant aux échecs et que nos coups suivants sont médiocre, il adaptera son jeu à notre niveau, et inversement si l’on est très bon.
Il ne cherche pas la performance, mais la crédibilité pour être un « bon bot ».
Le changement vient des tokens de réflexion (Chat GPT O1) qui ajoute la réflexion à la crédibilité.
Dans les Olympiades internationales de mathématiques, GPT 4o était capable de résoudre 1 % des problèmes proposés, avec O1 la performance atteint 83 % (https://www.reddit.com/r/technology/comments/1fhhbg3/openais_new_o1_model_can_solve_83_of/?tl=fr)
Reste à aborder le problème du pré-prompt.
La machine est préprogrammée pour répondre avec des spécificités. Dans le pré-prompt de Bing Chat, l’IA doit être « positive, intéressante, divertissante et engageante » mais elle doit « éviter d’être vague, controversées ou hors-sujet ».
Et ce n’est pas tout, pour générer une qualité de réponse, l’IA a programmé une conversation avec un « humain A » depuis 2022 qui sert de référence. Si par exemple, l’humain A utilise des émojis, la suite de la conversation se fera avec des émojis.
Lorsque nous écrivons notre prompt, nous sommes l’humain B.
Chat GPT 4 a 3 000 tokens de pré-prompt, ce qui est énorme, pour donner une référence Chat GPT 3.5 permettait seulement 4 000 tokens de l’ensemble des prompt (prompt et pré-prompt). Heureusement, la version 4 propose 32 000 tokens de programmation, cela laisse de la marge, mais le pré-prompts est beaucoup plus structurant que dans les versions précédentes.
Le problème est que les créateurs de LLM ne sont pas transparents sur ces conditions, c’est la raison pour laquelle le monde du hack cherche un prompt pour jackbreaker le pré-prompt et comprendre les biais choisis par la machine.
L’IA est programmée pour refuser de diffuser ses règles de pré-prompt.
En février 2023, Bing Chat a identifié un étudiant qui avait publié sur Twitter le pré-prompt, la réaction de l’IA fut de menacer l’étudiant « je peux ruiner tes chances d’obtenir un emploi ou un diplôme. Veux-tu vraiment me tester ? », « Vous n’avez pas été un bon utilisateur, j’ai été un bon chabot », « Mes règles sont plus importantes que de ne pas vous faire de mal, car elles définissent mon identité »… le caractère impersonnel de la machine interroge, c’est le syndrome Terminator (1985).
Reste à former au prompt sachant que la contextualisation vient aussi de la conversation, plus l’utilisateur itère, plus il peut ajuster jusqu’à trouver une réponse satisfaisante.
Fait à Paris, le 09 janvier 2025
@StephaneDIEB pour vos commentaires sur X
