Wat AI inmiddels kan bij het maken van toetsen

Deze week experimenteerde ik hoe ver de state of the art AI is met het maken van toetsen. In Codex, de superapp van ChatGPT, zette ik mijn agent aan de slag met de prompt:

“Bekijk dit economie examen van 2025. Analyseer het op inhoud, niveau, stijl, enz. Maak dan een andere versie van opgave 1. De opgave moet dezelfde leerstof bevatten maar moet verder een geheel nieuwe versie zijn van de opgave. Denk na over de inhoud (incl. tabellen en figuren). Daarna ga je de volledige opgave maken als afbeeldingen (verschillende pagina’s net zoals het voorbeeld), je output is een pdf met de nieuwe versie van opgave 1 in precies dezelfde stijl als het officiële examen.”

De AI kwam na zo’n 25 minuten terug met de pdf versie en ik ben zéér onder de indruk. Zie hieronder en kijk bijv. ook naar figuur 1. Ik heb nog extra nagevraagd of het die afbeelding niet ergens vandaan haalde omdat ik het eigenlijk te goed vond om te geloven.

En toen heb ik ook meteen even een antwoordmodel gevraagd in de stijl van cito (wel een vb meegegeven natuurlijk):

Let op, ik wil niet zeggen dat het al perfect is (bv. een kleine fout bij het correctiemodel van vraag 3), maar bovenstaande halen we nu dus uit een AI met een slechte prompt (!!). Ik zie meerdere dingen die ik beter had kunnen doen:

• AI een analyse laten maken van 10 examens zodat het nog beter snapt hoe examens werken, welk niveau het moet zijn en de stijl van de examens.
• De syllabus en de leerinhoud voor het vak meegeven zodat we zeker weten dat het binnen de perken blijft wat betreft de te leren leerstof.
• Verschillende agents bouwen die de examenvragen nog eens kritisch gaan reviewen op verschillende aspecten.

Bovenstaande verbeterpunten zijn niet al te moeilijk uit te voeren. Sterker nog, dit kan de AI zelf grotendeels uitvoeren als ik dit meegeef-> het kan vorige examens zoeken, downloaden, een prompt schrijven voor het analyseren en het analyseren. Het kan de syllabus en de leerinhoud zoeken en toevoegen. Het kan verschillende agents bouwen met verschillende profielen voor reviewen.

Als ik dit zo zie, dan kan ik niet anders dan concluderen dat we op een tipping point zijn voor oneindig examenvragen / toetsvragen.

Het grote nadeel is dat de functionaliteit die ik hierboven omschrijf alleen maar toegankelijk is voor mensen die 100+ euro per maand betalen voor hun ChatGPT account. Aan de andere kant hoeft dit geen probleem te zijn voor deze use case: er hoeft maar een beperkt groepje hier een maandje aan te werken en we hebben voor alle vakken oneindig oefenexamens.