Wat tokens technisch betekenen

Sinds OpenAI in 2022 zijn rekeneenheid publiek maakte, weten we precies waar een taalmodel mee rekent: tokens. Een token is de kleinste teksteenheid die zo'n model verwerkt. Het is geen woord en geen letter, maar een fragment ergens daartussenin. Het algoritme splitst zinnen in deze fragmenten via een proces dat tokenisatie heet. Het Engelse woord hello is één token, terwijl understanding in drie tokens kan worden opgedeeld. Nederlandse woorden vragen vaak meer tokens dan Engelse, omdat de modellen primair op Engelse data zijn getraind.

Wat tokens technisch betekenen
Wat tokens technisch betekenen

De vuistregel die OpenAI hanteert sinds 2022: 1.000 tokens komen overeen met ongeveer 750 Engelse woorden of zo'n 4.000 karakters. Voor Nederlands ligt dat aantal lager, ergens rond 500 tot 600 woorden per duizend tokens. Deze rekeneenheid bepaalt zowel de capaciteit van het model als de eventuele kosten bij externe API's.

Hoe Janitor AI tokens inzet

Op het platform fungeren tokens niet als betaalmiddel, maar als geheugenbudget. Het officiële helpcentrum bevestigt dat JLLM, het eigen taalmodel van Janitor AI, een contextvenster heeft van 8.000 tot 9.000 tokens. Binnen die ruimte moet alles passen: de persoonlijkheidsbeschrijving van het personage, de voorbeelddialogen, de chatgeschiedenis en je actuele bericht.

Hoe Janitor AI tokens inzet
Hoe Janitor AI tokens inzet

Stel dat een karakterkaart al 2.500 tokens inneemt. Dan blijft er ongeveer 6.000 tokens over voor het gesprek zelf. Bij elke nieuwe uitwisseling vult dat budget zich verder. Eenmaal vol, schuift het systeem de oudste berichten uit de context. De AI "vergeet" dan details die eerder werden besproken, zonder waarschuwing. Dit verklaart waarom personages soms hun eigen naam of een eerder genoemd feit kwijtraken.

Hoeveel tokens heb je nodig?

Het antwoord hangt af van je gebruik. Voor korte gesprekken volstaat de standaard JLLM-limiet probleemloos. Wie urenlange roleplays opbouwt, loopt sneller tegen de grens aan. Een gemiddeld bericht van honderd Nederlandse woorden verbruikt ongeveer 180 tot 220 tokens. Bij vijftig uitwisselingen zit je dus al snel op 10.000 tokens aan pure conversatie, exclusief de karakterdefinitie.

Gebruikers die via een externe sleutel met OpenAI of een andere provider werken, betalen wel per token. GPT-4 rekende in 2024 ongeveer 0,03 dollar per 1.000 invoertokens. Een actieve sessie van een uur kan dan oplopen tot enkele dollars. De gratis JLLM blijft daarom voor de meeste gebruikers de praktischste keuze.

Mijn ervaring met de privacy-instellingen

Afgelopen maandagavond nam ik de privacy-instellingen onder de loep. Het algoritme vraagt vooraf toestemming voor datagebruik, wat conform de AVG uit 2018 verplicht is. De uitleg over databeveiliging bleef echter summier. Concreet ontbrak transparantie over de opslagduur van gesprekken en de exacte locatie van de servers. Voor een platform dat gevoelige roleplay-data verwerkt, is dat een tekortkoming. Wie zich daar zorgen over maakt, kan via deze review nalezen welke alternatieve providers betere garanties geven. Een sister-platform als Candy AI communiceert bijvoorbeeld duidelijker over zijn dataretentie.

Tokens efficiënt benutten

Vorige week zaterdag testte ik dit zelf met een roleplay-personage dat ik al maanden gebruik. Mijn oorspronkelijke karakterkaart telde 3.400 tokens, vol met lange beschrijvende zinnen. Ik herschreef alles naar puntsgewijze fragmenten en kreeg de kaart terug naar 1.500 tokens. Het verschil in het gesprek was meteen merkbaar: het personage hield consistente details vast tot ver voorbij bericht zestig, waar het eerder al rond bericht dertig begon te haperen. Verwijder dus oude voorbeelddialogen zodra het personage zijn toon heeft gevonden, en houd je systeemprompt minimaal. Wanneer een gesprek tegen de limiet aanloopt, stel een samenvatting op van de belangrijkste plotpunten en gebruik die als nieuwe startbasis. Voor wie met externe API's werkt, levert dit ook directe besparingen op de factuur op.

De relatie met betaalde credits

Tokens en credits zijn op Janitor AI twee verschillende zaken. Tokens beschrijven de capaciteit van het model. Credits, indien aangeboden, vormen een betaalmiddel voor premium functionaliteiten. De basisversie van JLLM is gratis en blijft dat volgens de officiële communicatie. Wie meer wil weten over eventuele betaalstromen, vindt details bij credits kopen en de bijbehorende uitbetalingen voor creators.

De ethiek rond token-economieën verdient aandacht. Sommige concurrerende apps koppelen tokens direct aan microtransacties, wat een pay-to-chat dynamiek creëert. Janitor AI hanteert dat model niet voor zijn eigen taalmodel, wat de gebruikerservaring laagdrempelig houdt. Externe API-integraties verschuiven die kosten naar de provider zelf, los van het platform.

Wat gebeurt er bij overschrijding

Bij het bereiken van de contextlimiet kapt het systeem niet abrupt af. Het schuift simpelweg de oudste berichten weg. De technische specificaties laten dit "glijden" toe zonder foutmelding. Voor jou als gebruiker betekent het dat het personage opeens een eerder vastgelegd detail negeert. Een fictieve achternaam, een afgesproken locatie of een specifiek karaktertrekje verdwijnt uit het werkgeheugen.

Wil je dit zelf voorkomen? Open vanavond nog je meest gebruikte karakterkaart en tel hoeveel tokens je systeemprompt inneemt via een gratis tokenizer-tool zoals die van OpenAI. Pin daarna drie sleutelfeiten over je personage permanent in de kaart vast: naam, locatie, één unieke eigenschap. Houd daarnaast een extern notitiebestand bij waarin je elke tien berichten de belangrijkste ontwikkelingen noteert. Welke detail uit je laatste roleplay zou je echt niet willen verliezen, en staat die al veilig in de kaart?