AI-tutor Tom geeft gepersonaliseerde feedback op examenvragen

Deze week deelde ik mijn interactieve leeromgeving 'Economie met Jos & AI-tutor Tom'. Daar krijgt de leerling o.a. gepersonaliseerde feedback op examenvragen. Zie de afbeelding voor het grote verschil met het modelantwoord.

De AI-tutor is hier dus zowel aan het beoordelen als feedback aan het geven. Dit concept is misschien wel het meest gehoorde verzoek van docenten: Wanneer kan AI het werk van mijn leerlingen nakijken?!

Ik vind dat AI-tutor Tom behoorlijk goed kan nakijken. En dat komt door de prompt die daarachter zit. En om tot die prompt te komen gebruik ik een interessante werkwijze. Ik heb het gevoel dat leken echt geen enkel idee hebben hoe dit tegenwoordig werkt. Er zit een hele gedachtegang achter om tot een goede prompt komen. Ik neem jullie zo mee in (een deel van) mijn werkwijze.

Hierbij eerste de prompt:

Hoe kom ik tot deze prompt?

Zoals je waarschijnlijk ziet, heb ik deze prompt niet zelf geschreven. Dat laat ik natuurlijk door AI doen. En dan laat je AI dit tientallen keren testen bij verschillende vragen. Dan laat je een analyse maken van de feedback en dan laat je de prompt weer optimaliseren. En dan ga je het als mens nog eens testen en feedback geven aan de AI. Ik heb even terug gekeken in mijn gesprek met de AI en hier zie je een voorbeeld van zo'n testplan:

Ik heb het testplan voor de AI Tutor overzichtelijk voor je gestructureerd. Dit format is direct klaar voor gebruik in je documentatie.

Testplan: Evaluatie AI Tutor Kwaliteit

Doelstelling

Het systematisch testen van de AI tutor om de volgende kernpunten te beoordelen:

Kwaliteit van de feedback: Is de uitleg inhoudelijk sterk en begrijpelijk? Correctheid van de puntentoekenning: Komt de score overeen met het officiële correctievoorschrift? Consistentie: Geeft de AI bij herhaalde tests (dezelfde input) een vergelijkbaar resultaat? Optimalisatie: Identificeren van verbeterpunten voor de systeem-prompting.

• Kwaliteit van de feedback: Is de uitleg inhoudelijk sterk en begrijpelijk?
• Correctheid van de puntentoekenning: Komt de score overeen met het officiële correctievoorschrift?
• Consistentie: Geeft de AI bij herhaalde tests (dezelfde input) een vergelijkbaar resultaat?
• Optimalisatie: Identificeren van verbeterpunten voor de systeem-prompting.

Fase 1: Testselectie (10 Vragen)

Er is gekozen voor een diverse mix van niveaus, jaren en vraagtypen om de breedte van de tutor te testen.

Fase 2: Testscenarios per vraag

Elke geselecteerde vraag wordt onderworpen aan drie verschillende antwoordscenario's:

Fase 3: Consistentietest

Om de betrouwbaarheid van de temperature=0.2 instelling te valideren:

Selectie: 3 vragen uit de testset. Methode: Dezelfde vraag en hetzelfde antwoord tweemaal invoeren. Check: Vergelijken of de score, feedback en toon identiek of nagenoeg gelijk blijven.

• Selectie: 3 vragen uit de testset.
• Methode: Dezelfde vraag en hetzelfde antwoord tweemaal invoeren.
• Check: Vergelijken of de score, feedback en toon identiek of nagenoeg gelijk blijven.

Fase 4: Evaluatiecriteria

Per test wordt een score van 1 tot 5 toegekend op de volgende punten:

Fase 5: Rapportage

De resultaten worden gebundeld in de volgende documenten:

Gedetailleerd overzicht: Spreadsheet met alle individuele testresultaten. Categorische Analyse: Verschillen in prestaties tussen HAVO/VWO en berekening/uitleg. Consistentierapport: Analyse van de variatie bij herhaalde tests. Prompt-advies: Concrete voorstellen voor aanpassing van de systeeminstructies.

• Gedetailleerd overzicht: Spreadsheet met alle individuele testresultaten.
• Categorische Analyse: Verschillen in prestaties tussen HAVO/VWO en berekening/uitleg.
• Consistentierapport: Analyse van de variatie bij herhaalde tests.
• Prompt-advies: Concrete voorstellen voor aanpassing van de systeeminstructies.

Resultaten

Dan na zo'n 10 minuten en ongeveer 0,25 euro aan API kosten krijg ik een rapportage van 36 (!) pagina's waarbij de antwoorden per vraag staan, de analyse of dit het juiste antwoord is, een eindconclusie en aanbevelingen. Hierbij het eindoordeel:

Conclusie

Dit is een mooi voorbeeld van hoe ik AI in de praktijk inzet. Je moet het eigenlijk zelf eens ervaren..... dat AI het gehele testplan uitvoert en met een uitgebreide rapportage komt voelt als een soort magie.

Ik denk dat niet veel mensen deze post gaan lezen omdat het te abstract is. Ik denk dat mensen geen idee hebben over hoe krachtig AI momenteel is en hoe makkelijk het te gebruiken is. Misschien eens met een webinarserie meedoen?