De kwaliteit van toetsen wordt in hoge mate bepaald door de bekwaamheid van opleiders en hun bewustzijn van het belang van goed toetsen (Sluijsmans, van Eldik, Joosten – ten Brinke, & Jakobs, 2013). Veel meer opleidingsorganisaties zijn door COVID-19 pandemie noodgedwongen online gaan toetsen. Daarnaast ervaren steeds meer opleiders de voordelen van technologie bij de toetsafname. Digitaal toetsen lijkt daarmee een blijvende plaats in te nemen in het leer –, evaluatie – en toetsproces.
Toetskwaliteit
Onder toetskwaliteit worden alle aspecten van de toetsing verstaan zoals de (samenhang tussen de) verschillende toetsvormen, procedures en de toetsadministratie. Slechte toetskwaliteit kan ervoor zorgen dat de student en docent niet weten wat de vorderingen in het leerproces zijn. Het is voor een opleidingsorganisatie daarom van belang om toetskwaliteit te garanderen (Gerritsen – van Leeuwenkamp, Joosten – ten Brinke, & Kester, 2017).
De criteria om toetskwaliteit te bepalen kunnen worden ingedeeld in drie thema’s: validiteit, transparantie en betrouwbaarheid (Gerritsen – van Leeuwenkamp et al., 2017). Onder validiteit wordt verstaan of een toets meet wat deze beoogt te meten. Transparantie betreft vooral het toetsproces; het inzichtelijk maken welke en hoe een prestatie wordt beoordeeld. De student weet van tevoren wat deze kan doen om de kans op een goede beoordeling te vergroten en welke normen gehanteerd worden (Van Berkel, Bax, & Joosten – ten Brinke, 2017). Betrouwbaarheid wordt gezien als een kenmerk van de toetsresultaten en dan vooral of deze resultaten consistent en precies zijn.
Belang van een toets
Om te bepalen wat een geschikte toetsmethode is, wordt meestal gekeken naar het belang dat aan een specifieke toets wordt gehecht. Vaak onderscheidt men twee niveaus: hoog belang en laag belang.
Alle summatieve toetsen (zowel tussen- als eindtoetsen) worden gezien als hoog belang – toetsen. Er wordt geen onderscheid gemaakt in toetsvormen (meerkeuze, schriftelijk, mondeling of een essay), terwijl de toetsvorm grote invloed heeft op de toetskwaliteit; de geschiktheid van verschillende methodes voor toetsafname. Het risico op fraude is immers veel groter bij een meerkeuzetoets dan bij een mondeling tentamen (Sietses, 2016).
Welke toetsvorm kun je in welke situatie het beste gebruiken? Wat betekent dat voor proctoring, authenticiteit en voor bring your own device (BYOD)?
Keuzemodel Veilig Toetsen
Om een onderbouwde afweging te kunnen maken, heeft SURFnet een model ontwikkeld waarbij zowel het risico op fraude als het belang van het toetsresultaat wordt meegewogen (Sietses, 2016).
Dit model (Figuur 1) biedt examen- en toetscommissies en andere betrokkenen een leidraad om vast te stellen of de beoogde afnamesituatie voldoet, en om te zien welke methodes voor toetsafname binnen het curriculum of de opleiding geschikt zijn. Hiertoe dient de toetscyclus als uitgangspunt (Joosten – ten Brinke et al., 2017).
De basis voor het keuzemodel is een indeling naar risico en belang. Het model is al gedeeltelijk ingevuld om een beeld te geven hoe het gebruikt kan worden. Iedere examen – of toetscommissie kan het aanpassen naar de eigen context. Het verdient aanbeveling om daarbij ook de samenhang in het curriculum en/of opleiding mee te wegen. Als bijvoorbeeld bepaalde kennis meerdere keren in een opleiding wordt getoetst, dan kan een examencommissie oordelen dat aan een eerdere toets een lager belang wordt gehecht dan aan een latere. De kennis wordt immers nogmaals getoetst en een eventueel frauderende student zal dan alsnog door de mand vallen.
Per combinatie van belang en risico geeft dit model aan welk beveiligingsniveau daarbij hoort. Dit kan bijvoorbeeld betekenen dat gekozen wordt tussen verschillende vormen van online proctoring, of dat er een afweging wordt gemaakt tussen BYOD en een vaste opstelling voor digitaal toetsen.
Het keuzemodel onderscheidt vier niveaus om het belang van een toets aan te geven (Figuur 2).
Het keuzemodel onderscheidt drie niveaus om het risico op fraude bij een bepaald tentamen aan te geven.
Laag
Dit is een tentamen waarbij de student volledig uniek werk inlevert, zoals scripties, essays en mondelinge examens, maar ook praktijkopdrachten. Bij fraudepreventie gaat het hier vooral om het detecteren van plagiaat en de mogelijkheid om vast te stellen dat de student het werk zelf heeft gemaakt.
Middel
Een tentamen waarbij de antwoorden uniek zijn, maar het geen volledig eigen werk betreft zoals bij een scriptie of essay. Denk hierbij aan een schriftelijke toets met open vragen waarbij de antwoorden van voldoende lengte zijn om per student uniek te zijn. Bijvoorbeeld een toets met uitgebreide wiskundige uitwerkingen op papier, of waar antwoorden uitgebreid tekstueel onderbouwd dienen te worden.
Hoog
Tentamens waarbij slechts één antwoord mogelijk is en studenten per vraag dus geen unieke antwoorden zullen geven. Dit gaat dus om alle gesloten vragen inclusief meerkeuzevragen.
Niveau-indeling per toetsmethode
Hieronder is voor de verschillende digitale toetsmethodes (BYOD, online proctoring en computerzalen) de indeling naar niveaus beschreven.
Over online proctoring is de laatste jaren veel geschreven. Omdat online proctoring plaatsvindt in een ongecontroleerde omgeving is het onvoldoende fraudebestendig. Ook is de privacy van de deelnemer een veelbesproken onderwerp. Daar gaat deze blog verder niet op in.
Bronnen
Gerritsen – van Leeuwenkamp, K. J., Joosten – ten Brinke, D., & Kester, L. (2017). Assessment quality in tertiary education: An integrative literature review. Studies in Educational Evaluation, 55, 94 – 116.
Joosten – ten Brinke et al., D. (2017). Toetsen in het hoger onderwijs. (H. van Berkel, A. Bax, & D. Joosten – ten Brinke, Red.) Houten: Bohn Stafleu van Loghum.
Sietses, L. (2016). Keuzemodel veilige toetsafname. Opgeroepen op november 11, 2022, van SURF: https://www.surf.nl/keuzemodel-veilige-toetsafname
Sluijsmans, D., van Eldik, S., Joosten – ten Brinke, D., & Jakobs, L. (2013). Bewust en bekwaam toetsen. Wat zouden lerarenopleiders moeten weten over toetsing? Tijdschrift voor Lerarenopleiders, 34(3), pp. 27 – 42.