Universiteiten en hogescholen staan onder druk om de nakijkdruk te verlagen, en de verleiding is groot om AI in te zetten bij het beoordelen van student-werk. Een Cambridge-onderzoeksgroep keek of dat een goed idee is. Ze lieten Claude, ChatGPT en Gemini 761 psychologie-essays beoordelen van studenten van Cambridge, Nottingham en Manchester Metropolitan, en vergeleken die met de cijfers van de menselijke beoordelaars. Methodisch deden ze iets dat we niet vaak zien: ze gebruikten niet één prompt, maar varieerden systematisch van een minimale instructie tot prompts met de volledige beoordelingsrubriek, een verwachte cijferverdeling en de opdracht om elk cijfer te onderbouwen. Per model kozen ze daarna de best presterende prompt.
De resultaten zijn ontnuchterend. De AI-modellen gaven slechts 35 tot 65 procent van de tijd dezelfde graad als de docenten. Belangrijker dan dat gemiddelde is wat eronder zit: alle modellen bleken overgevoelig voor talige kenmerken zoals zinslengte, woordenschat en zinscomplexiteit. Daardoor kregen essays met veel mooie formuleringen vaak hogere cijfers, ongeacht de inhoudelijke kwaliteit van het betoog. Tegelijk kregen vrijwel alle essays een middelmatige score. Uitstekend werk werd structureel ondergewaardeerd en zwakkere essays werden overgewaardeerd, precies op de plekken waar de beoordeling het meest telt, rond de grens tussen voldoende en onvoldoende of tussen een goed en zeer goed cijfer.
Een paar kanttekeningen zijn op hun plaats. Het gaat hier om een onderzoeksrapport, niet om een peer-reviewed artikel in een wetenschappelijk tijdschrift. Het onderzoek is mede gefinancierd door Schmidt Sciences, de wetenschapsfinancier van voormalig Google-CEO Eric Schmidt. Die heeft belangen in de AI-sector, al zijn de conclusies van het rapport eerder kritisch dan promotioneel. Voor de praktijk is de boodschap helder: AI is er nog niet klaar voor om zelfstandig essays te beoordelen, en een mens moet het uiteindelijke cijfer bepalen. Wel kan AI helpen bij arbeidsintensieve onderdelen, bijvoorbeeld als tweede paar ogen of om opvallende verschillen tussen menselijke beoordelaars te signaleren. Wie AI laat meekijken bij beoordelingen doet er goed aan zich bewust te zijn van die voorkeur voor stijl boven inhoud, want anders sluipt die bias ongemerkt in de cijfers.
