Een Uruguayaans onderzoeksteam van de Universidad de la República publiceerde vorige maand een studie waarin ze keken of ChatGPT bruikbaar is voor het beoordelen van laboratoriumverslagen in de natuurkunde. Een actueel thema, ook in Nederland. De onderzoekers testten twee manieren om ChatGPT in te zetten: een geautomatiseerde versie via de API, en een aangepaste GPT die was geconfigureerd om de feedbackstijl van een docent te benaderen. Beide werden losgelaten op echte verslagen van studenten en de resultaten werden vergeleken op twee dimensies: enerzijds de formele en structurele kwaliteit (opbouw, helderheid, wetenschappelijke conventies), en anderzijds de inhoudelijke en conceptuele kant (technische redenering, interpretatie van meetgegevens). De uitkomst is genuanceerd. Op de formele aspecten bleek ChatGPT verrassend consistent. Feedback op structuur, taalgebruik en of een verslag voldoet aan de gangbare conventies kwam betrouwbaar uit beide modaliteiten. Maar zodra het ging om inhoudelijke beoordeling, het volgen van een redenering, het correct interpreteren van grafieken of meetdata, werd het wankel. Vooral grafische en wiskundige informatie bleek lastig voor het model.
Wat kun je hier mee in het onderwijs? Allereerst bevestigt dit onderzoek wat veel docenten in de praktijk ook merken. AI is goed in het geven van vormgerichte feedback, maar je moet voorzichtig zijn met de inhoudelijke beoordeling, zeker in vakken waar grafieken, formules en redeneringen centraal staan. Dat betekent niet dat je er niks mee moet doen. Het betekent juist dat je AI strategisch kunt inzetten voor het werk waar het goed in is, bijvoorbeeld als eerste feedbackronde op opbouw en helderheid, zodat je als docent meer tijd overhoudt voor de inhoudelijke beoordeling waar jouw expertise het verschil maakt. Het onderzoek laat ook zien dat de manier waarop je de AI configureert ertoe doet. De aangepaste GPT presteerde anders dan de standaard API-versie. Daarmee komt de docent weer in beeld als degene die de tool moet vormgeven. En zoals de auteurs zelf concluderen: menselijk toezicht blijft essentieel om de kwaliteit van de feedback te waarborgen. Een mooie bevestiging van een boodschap die wij ook altijd uitdragen, namelijk dat AI in het onderwijs het sterkst is als de docent de regie houdt.
