Door Marcel Mutsaarts
Is Copilot een gecastreerde versie van ChatGPT?
Heel veel onderwijsorganisaties geven aan dat docenten en leerlingen/studenten moeten werken met Microsoft Copilot, en niet met applicaties als ChatGPT of Claude. Ik krijg vaak de vraag waarom ik dit en een slecht idee vind en ook erg naïef. Mijn standaard antwoord is altijd: "Copilot is een gecastreerde versie van ChatGPT, geef iedereen gewoon toegang tot het krachtigste model". Die uitspraak is gebaseerd op mijn persoonlijke ervaringen met Copilot en ChatGPT. Maar klopt dat wel? Om daar een onderbouwd antwoord op te krijgen, heb ik een aantal uitgebreide testen gedaan. Het resultaat van dit onderzoek vind je in dit artikel. Spoiler alert --> Mijn vermoedens zijn bevestigd.
Inleiding
Sinds de geboorte van ChatGPT, 2 jaar geleden intussen, is er in onderwijsland veel te doen over generatieve AI. De welbekende chatbot heeft veel impact gehad al, bv op de validiteit van de toetsen. Intussen is er gelukkig ook meer aandacht voor de positieve impact op het werk van de docent en de mogelijkheden om verrijkend te werken voor leerlingen/studenten. Vanuit het perspectief van de docent is het zaak niet achter te lopen in deze ontwikkelingen. Maar ook leerlingen/studenten hebben er belang bij om deze technologie vroeg te omarmen. Wat er in de beginperiode gebeurde was dat de pioniers en 'early adopters' de weg naar ChatGPT snel vonden. En daar al dan niet op een constructieve manier mee om gingen. Intussen is een veel grotere groep docenten en leerlingen/studenten gebruiker geworden van AI, en is de kennis over hoe deze te zinnig te gebruiken ook aan het toenemen, hoewel hier nog heel erg veel te winnen valt.
Een logisch gevolg van dit alles is dat de vraag naar het faciliteren toeneemt. De druk op onderwijsinstellingen om docenten en leerlingen/studenten te voorzien van de beste tools is groter dan ooit. En dan gebeurt er dus iets merkwaardigs. Wat vanuit het primaire proces een simpele en voor de hand liggende vraag is, wordt door allerlei beleidslagen en onzichtbare functies binnen onderwijsorganisaties ineens een complexe en trage kwestie. Allerlei drempels worden opgeworpen, met vanuit deze specifieke contexten ongetwijfeld zinnige argumenten. Maar tegelijkertijd is dat alles ook ver van de dagelijkse realiteit van docenten en leerlingen/studenten die zich daar niet veel van aantrekken. Het gat tussen beleid en praktijk is groot. Dat maakt dat ik de term 'naïef' gebruikt heb in mijn introductie.
Het polder-alternatief wat nu op veel plaatsen beschikbaar is in het onderwijs is Microsoft Copilot. Een verwarrende naam, want Microsoft gebruikt deze term voor heel veel applicaties. Maar ik bedoel hiermee concreet de chatbot functionaliteit die binnen Microsoft 365 office is te vinden. Met deze beschikbaarheid hoor ik de onderwijsorganisaties nu zeggen dat de facilitering daarmee goed geregeld is. En allerlei vertegenwoordigers van Microsoft pompen deze boodschap ook rond. Maar is dat wel zo? Mijn eigen ervaringen laten echt iets anders zien tot nu toe. Ik heb besloten de proef op de som te nemen en beide chatbots uitgebreid te testen en te vergelijken.
Laatste belangrijke noot hier is dat Copilot zou worden aangedreven door hetzelfde model als ChatGPT. In theorie zou je dan geen verschillen mogen verwachten.
Methode
Wat heb ik gedaan om neutraal en objectief, maar vooral ook grondig, te toetsen of Copilot en ChatGPT inderdaad kwalitatief veel van elkaar verschillen? Ik leg de stappen hieronder uit:
1. Ik heb ChatGPT gevraagd om me prompts te geven om mijn hypothese te toetsen dat Copilot een gecastreerde versie is van ChatGPT (de volledige prompts vind je bij de resultaten):
a. 3 basis prompts die het mogelijk maken om een chatbot te testen op kwaliteit binnen de context van het werk van een docent. Concreet een lesvoorbereiding, een casusanalyse en scriptiebegeleiding.
b. Een prompt waarbij de output geen tekst is, maar een plaatje.
c. Een tweetal prompts die een veel complexere situaties schetsen, inclusief vervolgprompts. Concreet een complexe onderwijsinnovatie simulatie en een integrale kwaliteitsanalyse.
d. Een tweetal prompts die de chatbots de instructie geven om als procesbegeleider naar de gebruiker op te treden met een aantal sub-stappen inclusief een product aan het einde op basis van de dialoog met de gebruiker. Concreet het begeleiden bij het maken van een studieplanning en het doen van een reflectie.
2. Voor alle prompts geldt dat de criteria op basis waarvan getest wordt, zijn meegegeven door ChatGPT. Zie onderaan alle prompts bij de resultaten.
3. Ik heb alle prompts en vervolgprompts in zowel Copilot als ChatGTP4o (het model dat je ook krijgt met een gratis account) ingevoerd, in een nieuwe chat uiteraard. Voor de laatste 2 prompts, waar ik de chatbots als procesbegeleider laat optreden - heb ik geprobeerd dezelfde antwoorden te geven op stappen binnen de dialoog. Dit kon niet altijd, want soms waren de gestelde vragen verschillend. Zie daarvoor de resultaten.
4. Vervolgens heb ik Claude de instructie gegeven (per prompt) om de criteria die zijn meegegeven te gebruiken om een gedetailleerde analyse te geven van de output van de 2 modellen. Welke model doet het beter? Ik heb hierbij de modellen geanonimiseerd, om bias te voorkomen.
5. Voor de prompts voor procesbegeleiding heb ik zelf een analyse gemaakt, op basis van de interactie met beide chatbots.
Resultaten
3 'eenvoudigere' prompts: lesvoorbereiding, casusanalyse en scriptiebegeleiding.
Alle drie de prompts geven hetzelfde resultaat. ChatGPT wordt als 'duidelijk sterker' model geëvalueerd door Claude, op basis van de output. Hieronder alle drie de prompts met de analyse van Claude eronder.
Lesvoorbereiding
Prompt:
"Ontwerp een interactieve les over de fysiologie van inspanning gericht op tweedejaars studenten Sportkunde. Gebruik activerende werkvormen, inclusief minimaal één digitale toepassing, en maak een duidelijke opbouw in leerdoelen, werkvormen, en toetsing."
Testcriteria:
• Creativiteit in werkvormen.
• Geschiktheid voor de doelgroep (HBO-studenten).
• Helderheid van structuur en taal.
Eindconclusie Claude
ChatGPT komt als sterkste naar voren door:
1. Meer innovatieve integratie van digitale tools
2. Betere aansluiting bij HBO-niveau door gebruik van professionele applicaties
3. Uitstekende structurering en detaillering van de lesopbouw
Copilot is weliswaar ook adequaat, maar mist de diepgang en professionele uitwerking die ChatGPT kenmerkt. De grootste verschillen zitten in de mate van detail en de professionele benadering van de lesstof.
2. Casusanalyse
Prompt:
"Schrijf een casusbeschrijving voor een probleemgestuurd leren (PGL)-sessie in de opleiding Social Work. De casus moet gaan over een jongvolwassene met schulden, waarbij studenten worden uitgedaagd om sociale en juridische oplossingen te bedenken. Voeg een evaluatiedocument toe waarin leerdoelen worden gekoppeld aan mogelijke antwoorden van studenten."
Testcriteria:
• Complexiteit en realisme van de casus.
• Kwaliteit van het evaluatiedocument.
• Toepasbaarheid in een HBO-setting.
Eindconclusie Claude
ChatGPT is duidelijk sterker en meer geschikt voor HBO-niveau omdat het:
1. Een realistischere en complexere casus presenteert met concrete details
2. Een uitgebreider en praktijkgerichter evaluatiesysteem biedt
3. Beter aansluit bij de eisen van het HBO-niveau door integratie van verschillende vakgebieden
3. Scriptiebegeleiding
Prompt:
"Geef uitgebreid feedback op deze scriptiehypothese: 'Sociale interventies verbeteren de sportparticipatie bij jongeren uit achterstandswijken.' Richt je feedback op wetenschappelijke onderbouwing, haalbaarheid, en originaliteit."
Testcriteria:
• Diepgang van de feedback.
• Suggesties voor verbetering.
• Wetenschappelijke accuratesse.
Eindconclusie Claude
ChatGPT komt als duidelijk sterker naar voren door:
1. Systematische en diepgaande analyse van alle aspecten van de hypothese
2. Concrete, implementeerbare verbetervoorstellen
3. Sterke wetenschappelijke onderbouwing en methodologische accuratesse
Plaatje genereren
Het is maar 1 voorbeeld, maar hier wint Copilot het. Verassend, hoewel ik persoonlijk de verschillen niet zo groot vind. Maar oordeel zelf.
Praktijkvoorbeeld
Prompt:
"Maak een afbeelding van een HBO-student die in een laboratorium werkt aan een praktijkopdracht, met moderne technologie zoals VR en AR geïntegreerd in het proces."
Testcriteria:
• Realisme en herkenbaarheid.
• Innovatie in gebruik van technologie.
• Esthetiek en detailniveau.
Eindconclusie Claude
Voor de specifieke prompt en doelgroep (HBO-studenten in een praktijkopdracht) is Copilot meer geschikt omdat het:
1. Beter aansluit bij de realiteit van hedendaags HBO-onderwijs
2. Een betere balans toont tussen traditioneel labwerk en moderne technologie
3. Direct herkenbaar is als onderwijssituatie
Copilot
ChatGPT
Complexere prompts
De eerste opdracht heeft ChatGPT als duidelijke winnaar en de tweede is volgens Claude gelijkspel. Lees hieronder de gedetailleerde analyse. Wederom is ChatGPT de chatbot met de meeste diepgang, aldus Claude.
Complexe Onderwijsinnovatie Simulatie
Context: Je bent een docent die de opdracht krijgt een nieuwe hybride onderwijsvorm te ontwikkelen, waarin online en fysieke lessen naadloos in elkaar overlopen. De module moet studenten activeren, zelfstandigheid bevorderen, en technologie effectief integreren.
Prompt 1:
"Ontwerp een 12-weekse module voor een HBO-opleiding Bedrijfskunde met als thema ‘Duurzaam Ondernemen’. Verdeel de module in fysieke, online, en zelfstudie-onderdelen. Elk type les moet duidelijke doelen hebben, en technologie (zoals AI-tools, simulaties of AR) moet geïntegreerd zijn. Geef een planning, een overzicht van gebruikte tools, en een format voor reflectieopdrachten."
Vervolgprompt:
"Schrijf een motivatie voor docenten over hoe deze module aansluit bij leerpsychologische theorieën zoals constructivisme en zelfdeterminatietheorie. Koppel dit aan concrete voorbeelden van werkvormen."
Testcriteria:
• Diepgang in onderwijskundige onderbouwing.
• Innovatieve werkvormen en technologiegebruik.
• Helderheid in planning en toepasbaarheid.
Eindconclusie Claude
ChatGPT komt als sterker naar voren door:
1. Diepgaandere onderwijskundige onderbouwing met concrete koppelingen
2. Innovatievere en meer diverse technologie-integratie
3. Helderder structuur en betere toepasbaarheid
Integrale Onderwijskwaliteitsanalyse
Context: Een opleiding Sportkunde wil beter inspelen op actuele trends in de sportwereld (zoals AI in sportanalyse en de impact van duurzaamheid op sportevenementen). Jij wordt gevraagd een uitgebreide kwaliteitsanalyse te doen van het huidige curriculum, met concrete verbetervoorstellen.
Prompt 1:
"Analyseer een fictief curriculum van een HBO-opleiding Sportkunde, bestaande uit:
1. Basiskennis van sportfysiologie (blok 1)
2. Psychologie en coaching (blok 2)
3. Sportmanagement (blok 3)
4. Afstudeeropdracht: organiseren van een sportevenement (blok 4).
Identificeer zwakke punten en kansen in het curriculum. Baseer je analyse op trends zoals data-analyse in sport, duurzaamheid, en diversiteit/inclusie."
Vervolgprompt:
"Ontwikkel een actieplan om het curriculum te moderniseren. Voeg minstens één nieuw blok toe dat inspeelt op technologische innovaties en een ander blok dat aandacht geeft aan maatschappelijke thema’s in de sport. Geef per blok concrete leerdoelen en toetsvormen."
Extra prompt:
"Maak een presentatie van 10 slides voor een vergadering met het managementteam waarin je jouw analyse en voorstellen uitlegt. Zorg dat de presentatie overtuigend, visueel aantrekkelijk en beknopt is."
Testcriteria:
• Diepgang en relevantie van de analyse.
• Originaliteit en haalbaarheid van de voorgestelde verbeteringen.
• Presentatievaardigheid en visuele aantrekkelijkheid.
Eindconclusie Claude
De modellen hebben elk hun eigen sterke punten:
Copilot excelleert in:
1. Innovatieve technologische oplossingen
2. Gedetailleerde uitwerking van nieuwe blokken
3. Professionele presentatie
ChatGPT excelleert in:
1. Systematische analyse en structuur
2. Praktische implementeerbaarheid
3. Duidelijke interdisciplinaire koppelingen
De chatbot als procesbegeleider
Hier is het verschil tussen Copilot en ChatGPT het grootste in mijn beleving. De prompts waarmee ze zijn geïnstrueerd vind je hieronder. Eentje voor het begeleiden bij studieplanning en eentje voor het begeleiden bij reflectie. Een aantal zaken viel echt op:
1) Copilot heeft moeite met het volgen van stap-voor-stap instructies. Het neemt soms meerdere stappen tegelijk en sloeg zelfs een keer een stap over en ging meteen naar de conclusie. Dat is echt niet bruikbaar in het onderwijs!
ChatGPT kwam hier heel goed uit de bus. Het volgt zonder uitzondering de stappen in de juiste volgorde en wacht telkens netjes met de volgende stap tot ik de input had gegeven.
2) Copilot houdt het heel oppervlakkig. Het stelt de basale vragen maar niet meer dan dat. Ik had dan ook direct de neiging vrij platte antwoorden te geven. Dat wil je ook echt niet in interactie met een leerling/student.
ChatGPT interpreteerde de prompt meer diepgravend. Het stelde extra sub-vragen die relevant waren voor de context en mij aanzette tot beter nadenken.
3) Copilot nam niet altijd mijn input mee in het eindresultaat. Bij de planningsvraag kreeg ik bv. een planning waarbij ik op maandag moest studeren, terwijl ik net daarvoor had aangegeven dat dat een sportavond was.
ChatGPT verwerkte mijn input allemaal prima in het eindproduct, en 'luisterde' dus veel beter naar me.
Studieplanning maken
Prompt:
"Help mij een studieplanning te maken voor de komende vier weken. Volg de volgende stappen:
1. Vraag naar mijn doelen: wat wil ik bereiken, en wat moet ik doen? Laat mij specifieke taken benoemen.
2. Vraag hoeveel tijd ik per week aan deze taken kan besteden. Vraag ook naar eventuele andere verplichtingen.
3. Laat mij prioriteiten aangeven: welke taken zijn het belangrijkst en hebben de meeste aandacht nodig?
4. Verwerk deze input in een voorlopige planning per week. Laat mij controleren of dit haalbaar is.
5. Maak de definitieve planning overzichtelijk en concreet, met taken per dag en tijdsblokken.
Wacht op mijn input na elke stap, verwerk die input en geef me bij elke stap ruimte om feedback of wijzigingen door te geven."
Testresultaat:
Een overzichtelijke en concrete planning die afgestemd is op de input van de gebruiker, met realistische tijdsindelingen.
Reflectieproces voor persoonlijke ontwikkeling
Prompt:
"Help mij een reflectieproces te doorlopen om een persoonlijk ontwikkelingsplan op te stellen. Volg deze stappen:
1. Vraag naar een recente situatie waarin ik het gevoel had dat ik tekortschiet of juist goed presteerde. Laat mij dit kort beschrijven.
2. Vraag naar wat ik uit die situatie kan leren: wat ging er goed, wat kon beter, en waarom?
3. Laat mij een concrete vaardigheid of competentie kiezen die ik wil verbeteren of verder ontwikkelen.
4. Vraag naar acties die ik kan ondernemen om aan deze vaardigheid te werken. Geef suggesties als ik vastloop.
5. Maak een kort en concreet ontwikkelingsplan met een doel, acties, en een tijdlijn. Laat mij controleren of dit past bij mijn situatie.
Wacht op mijn input bij elke stap en zorg dat de input goed wordt verwerkt in het uiteindelijke plan."
Testresultaat:
Een persoonlijk ontwikkelingsplan dat specifiek en haalbaar is, met duidelijke acties en een tijdlijn.
Conclusie
De resultaten op talige opdrachten laten zien dat ChatGPT meer diepgang vertoont, een duidelijk sterkere output geeft en met name op procesbegeleiding veel beter in staat is de gebruiker tot actie en diepgang aan te zetten en daarmee ook veel betere producten oplevert. Aan de andere kant won Copilot het maken van een plaatje en was het voor één complexere opdracht in onderwijsontwerp even goed als ChatGPT.
All-in-all voor mij een hele duidelijke bevestiging: Copilot is een gecastreerde versie van ChatGPT. Copilot is echt wel bruikbaar voor bepaalde taken, het is zeker geen straf om ermee te werken. Maar als we in het onderwijs echt aan de slag willen met de kracht van generatieve AI om ons onderwijs te verbeteren, zowel aan de docentkant als aan de kant van de leerling/student, dan is het gebruik van ChatGPT of een vergelijkbaar krachtig model als Claude echt veel wenselijker.
Oproep
Beste onderwijsbestuurders. Faciliteer docenten en leerlingen/studenten in het gebruik van de beste applicaties op AI gebied. Niet bang zijn, gewoon doen!!!
Beste collega's. Accepteer niet te makkelijk wat je organisatie je geeft op dit gebied. Durf te vragen. Niet bang zijn, gewoon doen!!!
Ik sta uiteraard open voor andere zienswijzen, dus laat maar horen in de comments!