Wie hallucineert minder: AI of een gemiddelde docent?

Ik heb een vraag: Hoe kunnen we onderzoeken wie er betrouwbaarder is (minder hallucineert), AI of een gemiddelde docent?

Vorige week in de podcast zei ik al dat we door de enorme vooruitgang in AI in de afgelopen weken wellicht op een interessant punt zijn gekomen: AI hallucineert minder dan een gemiddelde docent. Dit vind ik een heel interessant punt want we zeggen constant dat we altijd heel kritisch moeten kijken naar de output van AI ('het is slechts een probabilistisch model'). Maar misschien zijn we al zover dat een gemiddelde docent vaker fouten maakt dan de AI......

Maar ik heb het gevoel dat niemand mij geloofd....... Daarom vraag ik me af hoe we dit goed kunnen onderzoeken. Hoe zetten we een gevoel om in keiharde feiten?!

Zelf doe ik o.a. tests met oude examens en die worden door AI erg goed gemaakt (het haalt zelfs fouten uit examens). Ik laat allerlei concepten uitleggen en ook dat doet het erg goed. Met de juiste prompting en input maakt het eigenlijk nauwelijks fouten is mijn ervaring.

Toch hoor ik van allerlei docenten en in de media allerlei voorbeelden van slechte ervaringen. Bij doorvragen maken ze gebruik van slechte modellen en/of slechte prompting. Een concreet voorbeeld: een platte vraag in Copilot levert soms hallucinaties op. Maar zet dezelfde vraag in een goed AI-model en geef o.a. de leerstof mee in je prompting, dan is de kans veel kleiner dat het hallucineert. Volgens mij komt het beeld dat AI veel hallucineert eerder door dom gebruik van AI dan de daadwerkelijke kracht van AI. Volgens mij onderschatten mensen in het onderwijs de kwaliteit van AI enorm. Maar misschien zit ik er wel helemaal naast.

Dus: Hoe kunnen we dit nou goed onderzoeken?! Wanneer kunnen we overtuigend zeggen dat de AI of de menselijke docent op dit moment betrouwbaarder is?

Enkele ideeën:

• Zowel AI als docenten toetsen/tests laten maken en die blind laten nakijken
• Zowel AI als docenten concepten laten uitleggen en die blind beoordelen

Op beide durf ik mijn geld wel in te zetten op AI 🤖💵

Disclaimer: AI kan ook heel veel niet! Volgens mij zong Jay-Z hierover: 'AI in education has got 99 problems, but hallucinations ain't one' 😄