I debatindlægget “Her er de fem største problemer med studenter-evalueringer” kritiserer medlemmer af Det Unge Akademi studenterevalueringer som et misvisende værktøj. I indlægget opstilles fem problemer ved studenterevalueringer som værktøj til at vurdere om undervisere på videregående uddannelser er gode eller ej.
Indlægget er skrevet af medlemmerne af Det Unge Akademi: Dalsgaard P, Bille M, Bjørk R, Dalsgaard S, Dimke H, Gram-Skjoldager K, Zinner NT.
Kvalitetsudvikling står højt på dagsordenen i uddannelsespolitikken. Uddannelses- og forskningsminister Søren Pind har meldt klart ud, at det nu handler om at fremme kvalitet frem for kvantitet i de videregående uddannelser. Den udmelding er vi som universitetsundervisere glade for!
Men den giver samtidig anledning til et spørgsmål, som også har voldt ministeriet kvaler: Hvad er kvalitet i uddannelse, og hvis overhovedet muligt, hvordan kan vi evaluere den?
Et aktuelt bud er, at man kan vurdere og sammenligne uddannelsers kvalitet ud fra standardiserede studenterevalueringer. Det kan umiddelbart virke som en fornuftig tilgang, for det er trods alt de studerende, der i flere år af deres liv helliger sig uddannelserne, og som lærer dem at kende indefra.
Ikke desto mindre er der en lang række forskningsresultater, der peger på fundamentale problemer med at benytte standardiserede studenterevalueringer til at vurdere uddannelsers kvalitet.
Da vi ikke kun er undervisere, men også forskere, er vi nødt til at fremhæve disse problemer i debatten. De tegner nemlig et samlet billede af, at standardiserede studenterevalueringer er meget problematiske ift. at vurdere og udvikle kvalitet i uddannelser; ja, endda at de kan modvirke kvalitetsudvikling. Her er fem af de mest slående problemer med studenterevalueringer, som forskningen har påvist.
1. Der er ingen sammenhæng mellem gode evalueringer og læringsudbytte – måske endda det modsatte
Lad os starte med de studerendes læringsudbytte, for i debatten om kvalitet må et stort læringsudbytte være en vigtig parameter. I et stort metastudie har Uttl et al. undersøgt sammenhængen mellem studerendes læringsudbytte og deres evalueringer af undervisningen.
I den bedste af alle verdener skulle man tro, at studerende ville give højere evalueringer til de læringseffektive kurser. Men det er ikke tilfældet: “Our up-to-date meta-analysis of all multisection studies revealed no significant correlations between [evaluation] ratings and learning” (Uttl).
Der er endda yderligere studier, der har påvist, at kursusforløb, hvor de studerende lærer meget, får lavere evalueringer end forløb, hvor de lærer mindre. Kort sagt kan vi ikke stole på standardiserede studenterevalueringer, hvis vi ønsker at vurderevide, hvor meget de studerende lærer. Men de kan godt fortælle os, hvor tilfredse de studerende er og give fingerpeg på elementer i undervisningsplanlægningen, der kan forbedres.
2. Studerendes evalueringer afhænger af, om de forventer at få en god karakter
Et andet velkendt problem er den såkaldte grading leniency bias. Som bl.a. Gilbaugh har påvist har studerende tendens til at give bedre evalueringer i kurser, hvor de forventer at få en høj karakter: “In one survey, 70 % of students admitted that their rating of an instructor was influenced by the grade they expected to get.” Idet studerendes karakterforventninger ikke siger noget entydigt om undervisningens kvalitet, er det med til at skabe usikkerhed om, hvad det egentlig er, studenterevalueringer siger noget om.
3. Fokus på at få gode evalueringer kan få undervisere til at sænke kursers læringsniveau
En af de store farer ved at indføre studenterevalueringer som rettesnor i en standardiseret kvalitetsparameter er, at det kan skabe karakterinflation. Hvis underviseres karrierer og uddannelsesinstitutioners indtægter afhænger af gode studenterevalueringer, kan det føre til, at kurserne gøres nemmere, som bl.a. Ryan et al. har påvist. Det er netop det modsatte, vi ønsker og til dagligt søger i vores kvalitetsudvikling af uddannelserne.
4. Studerende giver dårligere evalueringer af undervisere, der stiller store krav til dem
Det fjerde problem hænger sammen med det ovenstående og understreger, at studenterevalueringer kan have uintenderede, negative konsekvenser i forhold til at udvikle kvaliteten af undervisningen. Braga et al. har nemlig demonstreret, at studerende giver dårligere evalueringer af undervisere, der stiller høje krav til de studerende. Det kan have den konsekvens, at der slækkes på kravene for at undgå urimeligt dårlige evalueringer.
Da Søren Pind tiltrådte, udtalte han: ”Jeg er godt klar over, at det er svært. Men det skal jo heller ikke være nemt. Akademia skal være svært.” Det er vi enige i. Vi skal stille krav til de studerende, og de skal udfordres! Derfor skal vi ikke indføre målemekanismer, der kan føre til det modsatte.
5. Studerende giver lavere evalueringer til kvindelige undervisere
Lad os runde af med endnu et iøjnefaldende resultat af forskning i studenterevaluering, nemlig at der er en markant kønsbias.
Boring et al. har igennem en gennemgribende analyse på tværs af lande og fagdiscipliner påvist, at kvindelige undervisere får lavere studenterevalueringer end mænd, uagtet læringsudbytte.
De studerendes forforståelser om køn og kompetence er således med til at mudre billedet af, hvad det egentlig er, man kan læse ud af en standardiseret evaluering.
Dette punkt er ekstra problematisk, hvis underviseres karrieremuligheder kommer til at afhænge af studenterevalueringer som vi ser det i lande, hvor disse evalueringer tillægges stor betydning. Ud over at stille yderligere spørgsmålstegn ved værdien af studenterevalueringer vil det direkte modvirke intentionerne om at skabe bedre kønsmæssig balance i universitetsverdenen.
Upålidelige evalueringer
Hvis vi sammenfatter resultaterne, er det svært at se studenterevalueringer som et godt svar på spørgsmålet om, hvordan vi evaluerer kvalitet.
Flere af de ovennævnte studier anbefaler ligefrem, at man dropper tanken om at bruge standardiserede studenterevalueringer til at vurdere kvaliteten af undervisning.
De er simpelthen for upålidelige og påvirkelige af faktorer, som ikke har med undervisningskvalitet at gøre. En indvending kunne være, at man jo bare kunne lave skarpere og mere præcise evalueringsformer i Danmark, nu hvor vi er opmærksomme på disse problemer.
Men den ovenstående forskning er baseret på en række metastudier i lande, der netop har arbejdet med at lave skarpe og præcise, standardiserede evalueringer i mange år. Efter vores erfaring er det faktisk muligt at lave skræddersyede evalueringsformer, som kan være med til at udvikle kvaliteten af specifikke kurser.
Her kan man for eksempel spørge ind til, hvilke tekster og øvelser der gav studerende særligt stort læringsudbytte i et undervisningsforløb, og det kan bruges som input i de følgende kurser.
Men der er stor forskel på disse skræddersyede evalueringsformer og standardiserede studenterevalueringer, som ifølge forskningen har store problemer ift. at give et retvisende billede af læringsudbytte og kvalitet, men tværtimod kan være med til at modvirke vores fælles intentioner om at udvikle kvaliteten af vores uddannelser.
De skræddersyede evalueringer giver ikke et samlet – og potentielt misvisende – måltal for uddannelsernes kvalitet på tværs af discipliner. Til gengæld danner de basis for at udvikle kvaliteten af de enkelte uddannelser på en måde, der er meningsfuld for de dygtige forskere og undervisere, der hver dag står i undervisningslokalerne med de studerende.
Kilder:
Boring, Anne, Kellie Ottoboni, and Philip B. Stark. “Student evaluations of teaching (mostly) do not measure teaching effectiveness.” ScienceOpen Research 10 (2016).
Braga, Michela, Marco Paccagnella, and Michele Pellizzari. “Evaluating students’ evaluations of professors.” Economics of Education Review 41 (2014): 71-88.
Gilbaugh, John W. “Renner Substantiated,” Phi Delta Kappan 63 (Feb. 1982): 428.
Ryan, James J., James A. Anderson, and Allen B. Birchler, “Student Evaluations: The Faculty
Responds,” Research in Higher Education 12 (December, 1980): 317-33.
Uttl, Bob, Carmela A. White, and Daniela Wong Gonzalez. “Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related.” Studies in Educational Evaluation 54 (2017): 22-42.
