Als je iets leest over AI-modellen zoals ChatGPT, kom je vaak het woord tokens tegen. Zeker bij nieuwe modellen wordt het regelmatig genoemd: “tot 128.000 tokens contextgeheugen”. Maar wat betekent dat eigenlijk? En wat kun je ermee? nIn dit artikel leg ik het simpel uit, met voorbeelden die je makkelijk kunt volgen.
Wat is een token in AI-modellen?
Een token is een klein stukje tekst. Dat kan een woord zijn, een deel van een woord of zelfs een leesteken. AI-modellen zoals ChatGPT splitsen tekst op in deze stukjes om te kunnen begrijpen wat je zegt en om een goed antwoord te geven. Het gaat dus niet om losse woorden, maar om stukjes tekst die technisch gezien handig zijn voor het model om mee te werken.
Hoeveel tokens zijn één zin?
Dat verschilt. Hier een paar voorbeelden:
- Hallo! → 2 tokens (
Hallo,!) - Ik hoop dat je snel beter wordt. → 9 tokens
- Kun je dit herschrijven in een luchtigere toon, zonder het origineel te verliezen? → 17 tokens
Gemiddeld kun je ongeveer rekenen op 3 à 4 tokens per woord in het Nederlands.
Wat is de limiet? En waarom is dat belangrijk?
AI-modellen kunnen maar een beperkt aantal tokens tegelijk onthouden of verwerken. Dat heet het contextgeheugen. Alles wat je zegt, én alles wat het model terugstuurt, telt mee.
Een paar voorbeelden van contextlimieten:
| Model | Tokenlimiet | Wat betekent dat? |
|---|---|---|
| GPT-3.5 | 4.096 tokens | Ongeveer 1.000–1.500 woorden tekst |
| GPT-4 (t/m turbo) | 128.000 tokens | Tot zo’n 300 pagina’s aan tekst in één keer |
| GPT-4o | Ook 128.000 tokens | Maar sneller en slimmer met lange gesprekken |
Als je model bijvoorbeeld maar 4.000 tokens kan verwerken, dan zal het oude stukken uit het gesprek vergeten zodra je daaroverheen gaat.
Een praktisch voorbeeld
Stel, je vraagt aan ChatGPT:
“Analyseer dit artikel van 20 pagina’s en vat het samen in bulletpoints.”
Bij GPT-3.5 zal je dat artikel eerst moeten opdelen in stukjes, anders raakt het model de draad kwijt. GPT-4o kan het in één keer aan, zolang je onder de 128.000 tokens blijft.
Merk je dat als je lang met een AI-chatbot of ander AI-model ‘praat’, er plots dingen worden vergeten? Dan is de kans groot dat je over de limiet heen zit.
Waarom zou je dit willen weten?
Als je korte prompts stuurt, hoef je hier bijna nooit over na te denken. Maar zodra je langere teksten verwerkt, hele documenten samenvat of AI gebruikt voor bijvoorbeeld code-analyse of boekvertalingen, dan wordt tokenlimiet wél belangrijk. Je weet dan welk model geschikt is voor grote hoeveelheden input, zonder dat je alles steeds hoeft op te knippen.