LLM’s zoals ChatGPT, Gemini en Copilot geven soms verkeerde antwoorden. Vraag je iets simpels, zoals: “Wat is 12×12?”, dan krijg je soms vol overtuiging een antwoord als: “Dat is 25”. Dankzij Chain of Thought (CoT) prompting kan je dit voorkomen. Je vraagt dan aan het LLM om een beredenering achter het antwoord. In dit artikel leg ik deze manier van prompten uit en geef ik meerdere voorbeelden.
Hoe werkt het?
Bij Chain-of-Thought prompting wordt de AI gevraagd om haar denkproces stap voor stap uit te leggen voordat ze een antwoord geeft. Deze aanpak helpt de AI om complexere vragen beter te begrijpen en meer doordachte, nauwkeurige antwoorden te geven. Je kan een LLM (een computerprogramma dat met heel veel tekst is getraind om taal te begrijpen en zelf te genereren), zoals ChatGPT, Gemini en Copilot, sneller betrappen op fouten als je de redenering kan inzien.
Stel je voor dat je iemand een moeilijke wiskundige som leert. Je zou niet alleen het antwoord geven, maar ook de stappen doorlopen om daar te komen. CoT-prompting doet hetzelfde voor LLM’s,
Een voorbeeld:
Groenteman Rinus verkoopt appels. Hij weet dat de hoeveelheid verkochte appels lager wordt als de prijs hoger wordt. Hij wil de prijs zo vaststellen, dat hij zoveel mogelijk winst maakt.
Vraag: Rinus heeft 400 kg appels ingekocht voor 65 cent per kg. Hij verwacht al deze appels in één dag te verkopen. Hoeveel euro winst maakt Rinus als hij al deze appels voor 105 cent per kg verkoopt?
Leuk om te weten: Deze vraag is gesteld in een VMBO tl-gl examen in 2018 (bron)
Ik vraag ChatGPT om het antwoord. Het antwoord:
Als je Chain-of-Thought prompting zou toepassen, zou ik aan de vraag toevoegen: “Leg uit hoe je aan het antwoord komt”. Ik krijg nu een veel beter antwoord. Ik kan ook de stappen narekenen om te bekijken of AI niet aan het hallucineren is.
Nog een voorbeeld
Chain-of-Thought prompting kun je bereiken door te vragen: “Leg uit hoe je tot het antwoord komt” of “Beschrijf het stap-voor-stap hoe je dit op zou lossen”. Je kan daarnaast ook een voorbeeld in je prompt opnemen. Hierdoor motiveer je een LLM om een juist antwoord te geven. Ik geef eerst een voorbeeld en stel daarna de vraag. Hiermee hoop ik te bereiken dat AI een soortgelijk antwoord gaat geven, met daarin een duidelijke berekening.
Vraag: Edwin heeft 5 peren. Hij koopt nog 2 voordeelverpakking peren. Elke voordeelverpakking peren heeft 6 peren. Hoeveel peren heeft Edwin nu?
Antwoord: Edwin begon met 5 peren. 2 voordeelverpakkingen peren zijn totaal 12 peren. 5+12=17. Het antwoord is 17.
Vraag: De snackbar heeft 23 frikandellen. Als ze tijdens de middagdienst 20 frikandellen hebben geserveerd en er nog 6 bij hebben gekocht. Hoeveel frikandellen hebben ze nog over?
Het antwoord:
Vijf manieren om zelf Chain-of-Thought prompting toe te passen
Het stimuleren van een AI om het Chain-of-Thought proces te gebruiken in haar antwoorden vereist een specifieke manier van vragen stellen. Hier zijn een paar strategieën die je kunt gebruiken om dit te bereiken:
1. Vraag expliciet naar het redeneerproces
Een directe manier is om de AI specifiek te vragen haar gedachtegang te delen. Bijvoorbeeld:
- “Kun je uitleggen hoe je tot dat antwoord komt?”
- “Beschrijf stap voor stap hoe je dit probleem zou oplossen.”
Bijvoorbeeld: De volgende prompt: Een bedrijf overweegt om zijn werktijden flexibeler te maken. Hoe zou dit de productiviteit kunnen beïnvloeden? zou je beter kunnen maken als je er aan toevoegt: Leg uit hoe je tot je conclusie komt. Probeer het maar eens uit en zie het verschil!
2. Gebruik instructieve taal
Instructieve taal in je prompts kan de AI ook aanmoedigen om haar redeneringen uit te leggen. Voorbeelden van hoe je je vraag kunt formuleren zijn:
- “Leg uit welke stappen je neemt om het volgende probleem op te lossen…”
- “Toon je redenering bij het berekenen…”
3. Geef een voorbeeld van het gewenste antwoordformaat
Als je eenmaal een antwoord hebt ontvangen waarin de AI haar gedachtegang goed uitlegt, kun je dat als voorbeeld gebruiken voor toekomstige vragen. Je kunt zeggen:
- “Kun je deze vraag beantwoorden zoals je de vorige keer deed, door je gedachten stap voor stap te delen?”
4. Formuleer complexe problemen
Complexe vragen moedigen van nature een gedetailleerd antwoord aan. Door vragen te stellen die meerdere stappen vereisen om op te lossen, stimuleer je de AI om een gedetailleerde uitleg te geven. Bijvoorbeeld:
- “Hoe zou je verdelen 100 euro onder drie mensen, waarbij je rekening houdt met de volgende voorwaarden…”
5. Gebruik feedback loops
Geef feedback op de antwoorden van de AI om te benadrukken dat je waarde hecht aan het denkproces. Dit helpt de AI te ‘leren’ dat je voorkeur geeft aan antwoorden waarin redeneringen worden uitgelegd. Je kan dit bij bijvoorbeeld ChatGPT ook vastleggen in de custom instructions of in een eigen GPT. Bijvoorbeeld:
- “Dit was een goed gedetailleerd antwoord. Kun je nu dit nieuwe probleem oplossen met dezelfde detailniveau?”
