Vorm: Wat is een rubric?

Een rubric bestaat altijd uit twee elementen:

1. Criteria waarop een prestatie beoordeeld wordt (figuur 1 – eerste kolom)
2. Verschillende levels/niveaus waarop deze criteria zijn beschreven (figuur 1 – tweede t/m zesde kolom).

Een rubric kan varieren in specificiteit. Zo kan een rubric enerzijds geformuleerd zijn voor één specifieke opdracht of cursus, maar ook op een algemener niveau zodat die gebruikt kan worden over verschillende cursussen of bijvoorbeeld een hele opleiding.

Daarnaast kan een rubric holistisch of analytisch gebruikt worden. Bij een holistische aanpak geeft de beoordelaar een overall beoordeling op basis van de rubric. Bij een analytische aanpak wordt ieder criterium gescoord en wordt op basis daarvan een eindbeoordeling gegeven.

Doel: Waarom zou je een rubric gebruiken?

• De meest genoemde reden om een rubric in te zetten is om consistentie aan te creëren tussen beoordelingen, wanneer prestaties door verschillende beoordelaars worden beoordeeld.
• Daarnaast maakt een rubric ook voor studenten duidelijk wat er van hen verwacht wordt en wat einddoel is waar ze naar toe moeten (de meest rechtse kolom). Hiermee vervuld het een feed up functie (zie ook verdiepingfilmpjes feedback leerdoelen en levels van feedback).
• Ook zou het gebruik van een rubric tijd kunnen besparen bij het geven van feed back aan studenten, omdat het handvatten biedt om specifiek aan studenten aan te geven waar zij staan en wordt het op basis daarvan makkelijker om feed forward te geven.
• Wanneer een rubric cursus- of vakoverstijgend is, kan daarmee voor zowel docenten als studenten inzichtelijk worden gemaakt hoe hun ontwikkeling door het hele curriculum is, naast hun ontwikkeling binnen cursussen of vakken.
• Daarnaast kan het gebruiken van een vakoverstijgende rubric indicaties geven aan welke onderdelen van het curriculum meer aandacht besteed zou moeten/kunnen worden, wanneer studenten op bepaalde onderdelen systematisch laag scoren.
• Tenslotte kan een rubric een hulpmiddel zijn om op een onderbouwde en transparante manier tot een oordeel te komen over de prestatie van studenten.

Betrouwbaarheid: Hoe borg je de betrouwbaarheid van een rubric?

Verschillende onderzoeksresultaten laten zien dat het gebruiken van een rubric kan helpen bij het vergroten van de betrouwbaarheid van beoordelingen (zie ook filmpje betrouwbaarheid), maar dat dit niet automatisch het geval is.

Een aantal richtlijnen om de betrouwbaarheid van beoordelingen te vergroten door een rubric in te zetten zijn:

• Zorg dat het aantal niveaus dat per criterium wordt gebruikt, daadwerkelijk onderscheidbare niveaus zijn. Hoe meer niveaus er opgenomen worden, hoe meer discutabel het onderscheid tussen de niveaus wordt (Stellmack et al., 2009).
• Verzorg een training voor hen die met de rubric gaan werken (docenten of studenten), zodat ze de criteria en bijbehorende levels leren gebruiken en daarover met elkaar in gesprek gaan (o.a. Jonsson, 2007).
• Voeg aan de rubric ook een aantal voorbeelden toe van toepassingen van de rubric in de vorm van uitgewerkte voorbeelden. Dit geeft de mensen die met de rubric gaan werken een startkader voor hoe de rubric toegepast wordt (Jonsson, 2007).
• Kies voor een analytische benadering, waarbij studenten gescoord worden op ieder criterium (Jonsson, 2007).
• Zorg dat de rubric domeinspecifiek Probeer dus niet te streven naar een rubric die in verschillende domeinen toepasbaar is (Jonsson, 2007).

Validiteit: Hoe borg je de validiteit van een rubric?

Het vaststellen van de validiteit van een rubric is complexer dan het vaststellen van de betrouwbaarheid. Bovendien zijn er verschillende vormen van validiteit die bekeken kunnen worden (zie filmpje validiteit). Onderzoeksbevindingen laten zien dat de meest voor de hand liggende manier om de validiteit van een rubric te bepalen is: te kijken naar het taalgebruik en uiteraard de inhoud van de rubric.

• Om de inhoudsvaliditeit van een rubric te waarborgen, is het van belang om de cellen van een rubric (zowel de criteria als de niveaubeschrijvingen) op een onderbouwde manier te vullen. In het ideale geval wordt deze inhoud gebaseerd op wat we weten (praktijkkennis of bevindingen uit wetenschappelijk onderzoek) over hoe studenten een bepaalde vaardigheid of competentie ontwikkelen. Daarmee kan dan onderbouwd worden waarom bepaalde niveaus onderscheiden worden.
• Om vervolgens de face validity (gezichtsvaliditeit) van een rubric te waarborgen, kan deze voorgelegd worden aan experts, docenten, studenten of andere stakeholders die niet bij de ontwikkeling betrokken zijn geweest, met de vraag of de rubric volgens hen de beoogde vaardigheid of competentie voldoende dekt.

Docent: Wat zijn ervaringen van docenten?

Uit wetenschappelijk onderzoek weten we dat docenten het gebruik van een rubric op verschillende manieren kunnen ervaren. Positieve ervaringen zijn dat het gebruiken van een rubric docenten meer het gevoel geeft dat ze objectieve beoordelingen geven en dat daardoor beoordelingen van verschillende docenten beter vergelijkbaar zijn.

Toch kan het inzetten van een rubric ook weerstand oproepen. Meestal hangt die weerstand samen met de overtuiging dat het gebruiken van een rubric meer tijd kost dan het beoordelen op de reeds bestaande manier en/of dat docenten het niet eens zijn met wat er in de rubric staat en het gevoel hebben dat ze daarmee geen valide oordeel kunnen geven over de prestatie van een student (zie ook validiteit).

Student: Wat zijn ervaringen van studenten?

Studenten geven aan dat zij het gebruik van een rubric zien als een belangrijke meerwaarde. Zij geven aan dat het hen helpt bij het monitoren en plannen van hun werk, het reflecteren op hun eigen prestatie en het geven en ontvangen van feedback. Daarnaast hebben zij het gevoel beter te presteren wanneer een rubric wordt ingezet. Sommige onderzoeksresultaten suggereren dat het inzetten van een rubric bijdraagt aan betere prestaties van studenten en dieper leren.

Wel is daarbij van belang dat de rubric tijdig beschikbaar is, dat wil zeggen vóórdat studenten iets moeten inleveren of laten zien. Op die manier kan de rubric een stukje extra sturing geven in wat er van studenten verwacht wordt en waar ze dus nog aan moeten werken. Bij voorkeur krijgen studenten tijdens een cursus de mogelijkheid om de rubric mee zelf te ontwikkelen of om deze al een keer toe te passen op bijv. een eigen prestatie of een peer prestatie zodat ze echt in de vingers krijgen hoe de criteria en de verschillende levels er in de dagelijkse praktijk uit zien.

Referenties

Crotwell Timmerman, B.E, Strickland, D.C., Johnson, R.L., & Payne, J.R. (2011). Development of a ‘universal’ rubric for assessing undergraduates’ scientific reasoning skills using scientific writing. Assessment & Evaluation in Higher Education, 36(5), 509-547.

Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, 2, 130–144.

Reddy, Y.M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448.

Stellmack, M.A., Konheim-Kalkstein, Y.L., Manor, J.E., Massey, A.R., & Schmitz, J.A.P. (2009). An assessment of reliability and validity of a rubric for grading APA-style introductions. Teaching of Psychology, 36, 102-107.

Tractenberg, R.E., Umans, J.G., & McCarter, R.J. (2010). A Mastery Rubric: guiding curriculum design, admissions and development of course objectives. Assessment & Evaluation in Higher Education, 35(1), 15-32.