Dit onderdeel bevat de volgende onderdelen:

  • Toevoegen van een nieuwe opdracht
  • Producten en studenten
  • Vergelijken
  • Feedback
  • Resultaten
  • Extra opties
  • Voorbeelden

Je bevindt je in de cursusomgeving van de desbetreffende cursus op Comproved.

Toevoegen van een nieuwe opdracht

Klik op [+ Creëer assessment].

Geef de opdracht een naam en kies mogelijk een sjabloon voor de opdracht. Een sjabloon bestaat uit de configuratie van een opdracht die je bijvoorbeeld eerder hebt aangemaakt.

Het is niet nodig om een sjabloon te selecteren. Klik op ‘Doorgaan’.

Producten en studenten

In deze stap wordt aangegeven wat voor soort opdracht er ingeleverd moet worden en wie de opdracht inlevert.

Selecteer wie een opdracht moet inladen. Elke student kan voor zichzelf een opdracht inleveren of één student kan een groepswerk inleveren. Als docent/cursuscoördinator kan je de opdrachten ook zelf toevoegen in Comproved om te beginnen met de beoordeling.

Importeren van studenten

Wanneer studenten zelf hun werk of groepswerk inleveren is het van belang dat de studenten een account krijgen voor Comproved.

Studenten moeten ingeladen worden in Comproved via een CSV bestand. Voor het inladen van studenten is de naam en het UU-mailadres van de student nodig. Het is mogelijk om een sjabloon te downloaden van het CSV bestand in Comproved. Dit sjabloon ziet er als volgt uit:

Let op!           
Zorg dat er altijd gebruik wordt gemaakt van het @students.uu.nl adres.

Wanneer er gebruik wordt gemaakt van groepswerk zal er tevens een groepsnaam moeten worden toegevoegd aan het CSV bestand. Klik op ‘Download sjabloon’ voor een voorbeeld:

Bestandstypen

Geef vervolgens aan welke bestandstypen een student (of docent) kan inleveren. Het is mogelijk om meerdere bestandstypen te selecteren.

Geef als laatste aan van wanneer tot wanneer de student de mogelijkheid heeft om de opdracht in te leveren. Op de startdatum ontvangen de studenten onmiddellijk een mail met de vraag om hun product op te laden. Deze instelling is niet van belang wanneer je als cursuscoördinator zelf de producten aanlevert.

Vergelijken

In dit gedeelte kan worden ingesteld:

  • wie vergelijkingen tussen opdrachten zal maken;
  • tussen welke data de vergelijkingen gemaakt worden;
  • hoeveel vergelijkingen een beoordelaar maakt;
  • waarop gelet moet worden tijdens het beoordelen.

Beoordelaars

Begin met aangeven wie er vergelijkingen tussen opdrachten gaan maken. Er zijn meerdere antwoorden mogelijk. Studenten kunnen veel leren van elkaars werk. Wanneer enkel studenten de vergelijkingen maken gaat het om een peerbeoordeling.

Instructeurs zijn collega’s van de UU die al toegang hebben tot de cursusomgeving. Een beoordelaar is een (externe) collega die enkel vergelijkingen/beoordelingen zal maken voor de huidige opdracht en dus geen toegang nodig heeft tot de volledige cursusomgeving. Deze beoordelaars kun je toevoegen via een CSV bestand.

Het is mogelijk om als docent producten/opdrachten in te voeren in Comproved om deze vervolgens te laten beoordelen door studenten als oefening. Studenten moeten dan toegevoegd worden als ‘beoordelaars’.

Hoe veel beoordelaars heb ik nodig?

In principe heb je voldoende aan twee beoordelaars wanneer je een rangorde zou willen opstellen. Omdat beoordelaars sterk kunnen verschillen in wat ze waarderen in een opdracht/werkstuk, wordt het echter aangeraden om met meer beoordelaars te werken. Met minimaal 4 beoordelaars heb je de garantie dat er rekening wordt gehouden met alle aspecten van een competentie.

Het is mogelijk om als docent producten/opdrachten in te voeren in Comproved om deze vervolgens te laten beoordelen door studenten als oefening. Studenten moeten dan toegevoegd worden als ‘beoordelaars’.

Deadlines

Geef vervolgens aan wanneer de vergelijkingen moeten worden gemaakt en aan de hand van welke vraag/criteria. Op de startdatum ontvangen de personen die zullen beoordelen een mail met de vraag om hun vergelijkingen te maken.

Aandacht sturen

Stel een vraag op aan de hand waarvan er een vergelijking/beoordeling gemaakt moet worden. Met de juiste vraag kan je beoordelaars sturen. Zo kun je er voor kiezen om bepaalde deelcomponenten uit rubrics naar voren te halen of juist docenten sturen om op een meer holistische manier te kijken naar de opdracht. De vraag ‘Welke video is het mooiste?’ zal andere resultaten opleveren dan de vraag ‘Welke video geeft het beste de inhoud weer conform de opdracht…?’

In de derde vraag kan een algemene beschrijving worden gegeven van de taakdoelstellingen. Beoordelingscriteria kunnen worden omschreven in het tekstvak of via een apart pdf-document worden opgeladen.

Aantal beoordelingen

Geef aan hoe veel vergelijkingen een student, instructeur en/of beoordelaar moet maken.

Hoe veel vergelijkingen moeten er gemaakt worden?

Voor summatieve toetsen wordt er gericht op een betrouwbaarheid van >.70. Om te bepalen hoe veel vergelijkingen er (per beoordelaar) nodig zijn om deze betrouwbaarheid te behalen is een formule opgesteld: Aantal werken x 7.5 / aantal beoordelaars. Wanneer er 150 studenten zijn die een opdracht inleveren en 10 beoordelaars, moet elke beoordelaar 113 vergelijkingen maken.

Wanneer het een formatieve toets betreft is de betrouwbaarheid ondergeschikt aan het leereffect. Het aantal vergelijkingen kan dan lager liggen.

Wanneer je gebruik maakt van verschillende beoordelaars (bijvoorbeeld van een mix van studenten en docenten), dan is het mogelijk om een gewicht toe te kennen aan de beoordelingen. Wanneer er bijvoorbeeld 750 vergelijkingen gemaakt moeten maken kan je stellen dat studenten 200 vergelijkingen maken en docenten 550. De oordelen van de docenten wegen dan zwaarder.

Feedback

In dit gedeelte is het mogelijk om in te stellen of er wel of niet gebruik wordt gemaakt van feedback, of studenten om specifieke feedback mogen vragen en hoe/hoeveel feedback er gegeven wordt per beoordelaar.

Geef aan op welke manier er feedback gegeven moet worden. Er kan gekozen worden tussen:

  • geen feedback;
  • feedback op basis van sterke en zwakke punten;
  • specifieke beoordelingscriteria die naar eigen inzicht ingesteld kunnen worden.

Wanneer je kiest voor beoordelingscriteria krijg je de mogelijkheid om verschillende criteria toe te voegen. Beoordelaars (waaronder studenten bij peerfeedback) krijgen deze criteria te zien en moeten per criterium feedback geven.

Stel in of studenten specifieke vragen mogen stellen aan beoordelaars over hun product en of studenten verzocht wordt om de ontvangen feedback te verwerken. Studenten worden dan gevraagd om actiepunten op te stellen naar aanleiding van de ontvangen (peer-)feedback.

Geef vervolgens een korte omschrijving voor beoordelaars over hoe de feedback gegeven moet worden:

Als laatste moet er worden ingesteld hoeveel feedback elke beoordelaar moet geven. In het grijze kader wordt aangegeven hoeveel feedback elke opdracht zal ontvangen. Dit wordt aangepast aan de waarden die je zelf invult.

Op hoe veel producten geeft een student idealiter feedback?

We raden aan om elke student feedback te laten geven op 3 medestudenten. Omdat een beoordelaar in Comproved feedback geeft op een vergelijking wordt er direct feedback gegeven op twee producten. Om deze reden raden we aan om elke student feedback te laten geven op 2 a 3 vergelijkingen.

Resultaten

In deze stap is het mogelijk om aan te geven of de opdrachten uiteindelijk een cijfer krijgen (op basis van de rangorde die voort komt uit alle vergelijkingen). Om deze cijfers te berekenen moeten minstens twee producten worden voorzien van een cijfer. Cijfers worden zichtbaar voor beoordelaars en instructeurs. Cijfers worden in Comproved NOOIT zichtbaar voor studenten.

Geef aan of de opdrachten op de uiteindelijke rangorde een cijfer moeten krijgen via de Ja/Nee knop.

Geef aan welke resultaten studenten te zien krijgen. Wanneer je kiest voor de laatste optie kan een student het werk (+ ontvangen feedback) van alle andere studenten bekijken.

Als laatste is het mogelijk om in te stellen wanneer de opdracht en de beoordelingen vrijgegeven worden voor de studenten en de beoordelaars.

Hieronder zie je een voorbeeld van een uiteindelijke rangorde:

Extra opties

Ten eerste is het mogelijk om aan te geven welke studenten mogen meedoen aan de vergelijkingsfase en welke studenten de resultaten te zien krijgen. Het is mogelijk het vergelijkingsproces af te schermen voor studenten die een opdracht hebben ingedient en om de resultaten af te schermen voor studeten die hun vergelijkingen hebben afgerond.

Tevens is het onder deze stap mogelijk om aan te geven dat beoordelaars eerst feedback moeten geven alvorens zij een vergelijking maken tussen de twee werken. Standaard is het zo ingesteld dat een beoordelaar eerst een vergelijking maakt om het holistische karakter van de methode te waarborgen.

Als laatste is het mogelijk om aan te geven wanneer studenten een e-mail notificatie ontvangen van Comproved. Het is standaard ingesteld dat studenten een mail ontvangen:

  • Twee dagen voordat studenten een opdracht kunnen inleveren.
  • Wanneer studenten een opdracht kunnen inleveren.
  • Wanneer de opdracht gesloten is. Het is dan niet meer mogelijk een opdracht in te leveren.
  • Twee dagen voor de start van de vergelijkingsfase.
  • Wanneer de vergelijkingsfase van start gaat.
  • Wanneer de vergelijkingsfase is afgerond.
  • Wanneer de beoordelingen zijn vrijgegeven.

Voorbeelden

Klik op de knop [Voorbeeld als student] of [Preview als beoordelaar] om een beeld te krijgen van de opdracht vanuit een ander perspectief. Hier kan je tevens het vergelijkingsproces bekijken.

Afronden

Klik op [Assessment opslaan] om het aanmaken van de opdracht af te ronden. Op de overzichtspagina zie je in één oogopslag de status van de opdracht, het aantal opdrachten wat al is ingeleverd door studenten en het aantal vergelijkingen wat al is gemaakt.

Klik op de desbetreffemde opdracht voor meer informatie.