I debatindl\u00e6gget “Her er de fem st\u00f8rste problemer med studenter-evalueringer” kritiserer medlemmer af Det Unge Akademi studenterevalueringer som et misvisende v\u00e6rkt\u00f8j. I indl\u00e6gget opstilles fem problemer ved studenterevalueringer som v\u00e6rkt\u00f8j til at vurdere om undervisere p\u00e5 videreg\u00e5ende uddannelser er gode eller ej.
Indl\u00e6gget er skrevet af medlemmerne af Det Unge Akademi: Dalsgaard P, Bille M, Bj\u00f8rk R, Dalsgaard S, Dimke H, Gram-Skjoldager K, Zinner NT.<\/p>\n\n\n\n
Kvalitetsudvikling st\u00e5r h\u00f8jt p\u00e5 dagsordenen i uddannelsespolitikken. Uddannelses- og forskningsminister S\u00f8ren Pind har meldt klart ud, at det nu handler om at fremme kvalitet frem for kvantitet i de videreg\u00e5ende uddannelser. Den udmelding er vi som universitetsundervisere glade for!<\/p>\n\n\n\n
Men den giver samtidig anledning til et sp\u00f8rgsm\u00e5l, som ogs\u00e5 har voldt ministeriet kvaler: Hvad er kvalitet i uddannelse, og hvis overhovedet muligt, hvordan kan vi evaluere den?<\/p>\n\n\n\n
Et aktuelt bud er, at man kan vurdere og sammenligne uddannelsers kvalitet ud fra standardiserede studenterevalueringer. Det kan umiddelbart virke som en fornuftig tilgang, for det er trods alt de studerende, der i flere \u00e5r af deres liv helliger sig uddannelserne, og som l\u00e6rer dem at kende indefra.<\/p>\n\n\n\n
Ikke desto mindre er der en lang r\u00e6kke forskningsresultater, der peger p\u00e5 fundamentale problemer med at benytte standardiserede studenterevalueringer til at vurdere uddannelsers kvalitet.<\/p>\n\n\n\n
Da vi ikke kun er undervisere, men ogs\u00e5 forskere, er vi n\u00f8dt til at fremh\u00e6ve disse problemer i debatten. De tegner nemlig et samlet billede af, at standardiserede studenterevalueringer er meget problematiske ift. at vurdere og udvikle kvalitet i uddannelser; ja, endda at de kan modvirke kvalitetsudvikling. Her er fem af de mest sl\u00e5ende problemer med studenterevalueringer, som forskningen har p\u00e5vist.<\/p>\n\n\n\n
1. Der er ingen sammenh\u00e6ng mellem gode evalueringer og l\u00e6ringsudbytte \u2013 m\u00e5ske endda det modsatte<\/strong> I den bedste af alle verdener skulle man tro, at studerende ville give h\u00f8jere evalueringer til de l\u00e6ringseffektive kurser. Men det er ikke tilf\u00e6ldet: \u201cOur up-to-date meta-analysis of all multisection studies revealed no significant correlations between [evaluation] ratings and learning\u201d (Uttl).<\/p>\n\n\n\n Der er endda yderligere studier, der har p\u00e5vist, at kursusforl\u00f8b, hvor de studerende l\u00e6rer meget, f\u00e5r lavere evalueringer end forl\u00f8b, hvor de l\u00e6rer mindre. Kort sagt kan vi ikke stole p\u00e5 standardiserede studenterevalueringer, hvis vi \u00f8nsker at vurderevide, hvor meget de studerende l\u00e6rer. Men de kan godt fort\u00e6lle os, hvor tilfredse de studerende er og give fingerpeg p\u00e5 elementer i undervisningsplanl\u00e6gningen, der kan forbedres.<\/p>\n\n\n\n 2. Studerendes evalueringer afh\u00e6nger af, om de forventer at f\u00e5 en god karakter<\/strong>\u00a0 3. Fokus p\u00e5 at f\u00e5 gode evalueringer kan f\u00e5 undervisere til at s\u00e6nke kursers l\u00e6ringsniveau 4. Studerende giver d\u00e5rligere evalueringer af undervisere, der stiller store krav til dem Da S\u00f8ren Pind tiltr\u00e5dte, udtalte han: \u201dJeg er godt klar over, at det er sv\u00e6rt. Men det skal jo heller ikke v\u00e6re nemt. Akademia skal v\u00e6re sv\u00e6rt.\u201d Det er vi enige i. Vi skal stille krav til de studerende, og de skal udfordres! Derfor skal vi ikke indf\u00f8re m\u00e5lemekanismer, der kan f\u00f8re til det modsatte.<\/p>\n\n\n\n 5. Studerende giver lavere evalueringer til kvindelige undervisere<\/strong> Boring et al. har igennem en gennemgribende analyse p\u00e5 tv\u00e6rs af lande og fagdiscipliner p\u00e5vist, at kvindelige undervisere f\u00e5r lavere studenterevalueringer end m\u00e6nd, uagtet l\u00e6ringsudbytte.<\/p>\n\n\n\n De studerendes forforst\u00e5elser om k\u00f8n og kompetence er s\u00e5ledes med til at mudre billedet af, hvad det egentlig er, man kan l\u00e6se ud af en standardiseret evaluering.<\/p>\n\n\n\n Dette punkt er ekstra problematisk, hvis underviseres karrieremuligheder kommer til at afh\u00e6nge af studenterevalueringer som vi ser det i lande, hvor disse evalueringer till\u00e6gges stor betydning. Ud over at stille yderligere sp\u00f8rgsm\u00e5lstegn ved v\u00e6rdien af studenterevalueringer vil det direkte modvirke intentionerne om at skabe bedre k\u00f8nsm\u00e6ssig balance i universitetsverdenen.<\/p>\n\n\n\n Up\u00e5lidelige evalueringer Flere af de ovenn\u00e6vnte studier anbefaler ligefrem, at man dropper tanken om at bruge standardiserede studenterevalueringer til at vurdere kvaliteten af undervisning.<\/p>\n\n\n\n De er simpelthen for up\u00e5lidelige og p\u00e5virkelige af faktorer, som ikke har med undervisningskvalitet at g\u00f8re. En indvending kunne v\u00e6re, at man jo bare kunne lave skarpere og mere pr\u00e6cise evalueringsformer i Danmark, nu hvor vi er opm\u00e6rksomme p\u00e5 disse problemer.<\/p>\n\n\n\n Men den ovenst\u00e5ende forskning er baseret p\u00e5 en r\u00e6kke metastudier i lande, der netop har arbejdet med at lave skarpe og pr\u00e6cise, standardiserede evalueringer i mange \u00e5r. Efter vores erfaring er det faktisk muligt at lave skr\u00e6ddersyede evalueringsformer, som kan v\u00e6re med til at udvikle kvaliteten af specifikke kurser.<\/p>\n\n\n\n Her kan man for eksempel sp\u00f8rge ind til, hvilke tekster og \u00f8velser der gav studerende s\u00e6rligt stort l\u00e6ringsudbytte i et undervisningsforl\u00f8b, og det kan bruges som input i de f\u00f8lgende kurser.<\/p>\n\n\n\n Men der er stor forskel p\u00e5 disse skr\u00e6ddersyede evalueringsformer og standardiserede studenterevalueringer, som if\u00f8lge forskningen har store problemer ift. at give et retvisende billede af l\u00e6ringsudbytte og kvalitet, men tv\u00e6rtimod kan v\u00e6re med til at modvirke vores f\u00e6lles intentioner om at udvikle kvaliteten af vores uddannelser.<\/p>\n\n\n\n De skr\u00e6ddersyede evalueringer giver ikke et samlet \u2013 og potentielt misvisende \u2013 m\u00e5ltal for uddannelsernes kvalitet p\u00e5 tv\u00e6rs af discipliner. Til geng\u00e6ld danner de basis for at udvikle kvaliteten af de enkelte uddannelser p\u00e5 en m\u00e5de, der er meningsfuld for de dygtige forskere og undervisere, der hver dag st\u00e5r i undervisningslokalerne med de studerende.<\/p>\n\n\n\n <\/p>\n\n\n\n Kilder<\/strong>: Braga, Michela, Marco Paccagnella, and Michele Pellizzari. “Evaluating students\u2019 evaluations of professors.” Economics of Education Review 41 (2014): 71-88.<\/p>\n\n\n\n Gilbaugh, John W. “Renner Substantiated,” Phi Delta Kappan 63 (Feb. 1982): 428. Responds,” Research in Higher Education 12 (December, 1980): 317-33.<\/p>\n\n\n\n Uttl, Bob, Carmela A. White, and Daniela Wong Gonzalez. “Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related.” Studies in Educational Evaluation 54 (2017): 22-42.<\/p>\n","protected":false},"excerpt":{"rendered":" I debatindl\u00e6gget “Her er de fem st\u00f8rste problemer med studenter-evalueringer” kritiserer medlemmer af Det Unge Akademi studenterevalueringer som et misvisende v\u00e6rkt\u00f8j. I indl\u00e6gget opstilles fem problemer ved studenterevalueringer som v\u00e6rkt\u00f8j til at vurdere om undervisere p\u00e5 videreg\u00e5ende uddannelser er gode eller ej.<\/p>\n","protected":false},"author":13,"featured_media":2851,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[51,45],"tags":[],"activity":[],"debat":[],"forskning":[],"forskningsomrade":[],"nyheder":[],"arstal":[],"class_list":["post-2777","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-debatindlaeg","category-offentlig-deltagelse-politik"],"acf":[],"yoast_head":"\n
Lad os starte med de studerendes l\u00e6ringsudbytte, for i debatten om kvalitet m\u00e5 et stort l\u00e6ringsudbytte v\u00e6re en vigtig parameter. I et stort metastudie har Uttl et al. unders\u00f8gt sammenh\u00e6ngen mellem studerendes l\u00e6ringsudbytte og deres evalueringer af undervisningen.<\/p>\n\n\n\n
Et andet velkendt problem er den s\u00e5kaldte grading leniency bias. Som bl.a. Gilbaugh har p\u00e5vist har studerende tendens til at give bedre evalueringer i kurser, hvor de forventer at f\u00e5 en h\u00f8j karakter: \u201cIn one survey, 70 % of students admitted that their rating of an instructor was influenced by the grade they expected to get.\u201d Idet studerendes karakterforventninger ikke siger noget entydigt om undervisningens kvalitet, er det med til at skabe usikkerhed om, hvad det egentlig er, studenterevalueringer siger noget om.<\/p>\n\n\n\n
<\/strong>En af de store farer ved at indf\u00f8re studenterevalueringer som rettesnor i en standardiseret kvalitetsparameter er, at det kan skabe karakterinflation. Hvis underviseres karrierer og uddannelsesinstitutioners indt\u00e6gter afh\u00e6nger af gode studenterevalueringer, kan det f\u00f8re til, at kurserne g\u00f8res nemmere, som bl.a. Ryan et al. har p\u00e5vist. Det er netop det modsatte, vi \u00f8nsker og til dagligt s\u00f8ger i vores kvalitetsudvikling af uddannelserne.<\/p>\n\n\n\n
<\/strong>Det fjerde problem h\u00e6nger sammen med det ovenst\u00e5ende og understreger, at studenterevalueringer kan have uintenderede, negative konsekvenser i forhold til at udvikle kvaliteten af undervisningen. Braga et al. har nemlig demonstreret, at studerende giver d\u00e5rligere evalueringer af undervisere, der stiller h\u00f8je krav til de studerende. Det kan have den konsekvens, at der sl\u00e6kkes p\u00e5 kravene for at undg\u00e5 urimeligt d\u00e5rlige evalueringer.<\/p>\n\n\n\n
Lad os runde af med endnu et i\u00f8jnefaldende resultat af forskning i studenterevaluering, nemlig at der er en markant k\u00f8nsbias.<\/p>\n\n\n\n
<\/strong>Hvis vi sammenfatter resultaterne, er det sv\u00e6rt at se studenterevalueringer som et godt svar p\u00e5 sp\u00f8rgsm\u00e5let om, hvordan vi evaluerer kvalitet.<\/p>\n\n\n\n
\n\n\n\n
Boring, Anne, Kellie Ottoboni, and Philip B. Stark. “Student evaluations of teaching (mostly) do not measure teaching effectiveness.” ScienceOpen Research 10 (2016).<\/p>\n\n\n\n
Ryan, James J., James A. Anderson, and Allen B. Birchler, “Student Evaluations: The Faculty<\/p>\n\n\n\n