Dags att tala klartext om vetenskaplig kvalitet

2010-12-14 09:30

Grundprincipen för fördelning av pengar i vetenskapssamhället är att den forskning som har högst kvalitet ska främjas. Men det som låter enkelt i teorin är svårt i praktiken. Ny forskning om bedömningsprocesser visar dels att vad som betraktas som vetenskaplig kvalitet varierar stort mellan olika discipliner och bedömare, dels att bedömare är som mest benägna att se excellens i den forskning som mest liknar deras egen.

Nyhet 

Peer review, eller på svenska kollegial bedömning, är den metod som vetenskapssamhället använder sig av för att utvärdera forskningsprogram, tillsätta tjänster och fördela forskningsanslag. En opartisk, objektiv bedömning av vetenskapliga experter ska garantera att forskningen med den högsta kvaliteten främjas. Men hur går bedömningsprocesserna egentligen till? Hur opartisk är egentligen granskningen och hur används begreppet vetenskaplig kvalitet i praktiken?

I rapporten Kollegial bedömning av vetenskaplig kvalitet – en forskningsöversikt ger genusforskaren Lena Gemzöe en överblick av den internationella forskningen inom området. Rapporten har framtagits på initiativ av Vetenskapsrådets Expertgrupp för genus som sedan länge arbetar med frågor om bedömning av genusforskning.
– Forskningen om kollegial bedömning startade i USA på 1970-talet genom att samhället krävde att få insyn i hur de offentliga medlen användes. Då blev forskarvärlden tvungen att legitimera sig, säger Gemzöe.
Efter att i en inledande fas ha fokuserat på frågor om risken för social partiskhet, det vill säga om den sökandes kön, politiska ståndpunkt eller tillhörighet till institutions- och vänskapsnätverk påverkat bedömningen, riktar den nyare forskningen om kollegial bedömning sin uppmärksamhet mot vad man kallar kognitiv partiskhet. Med det avses den betydelse som bedömarens egen disciplintillhörighet och vetenskapssyn har för hans eller hennes bedömning av vad som är vetenskaplig kvalitet.
Som exempel kan nämnas en studie av mångvetenskapliga panelers arbete, vilken illustrerar hur exempelvis bedömare med samhällsvetenskaplig bakgrund ser forskningens tillämpbarhet och generaliserbarhet som ett tecken på vetenskaplig kvalitet, egenskaper som överhuvudtaget inte intresserade humanisterna. Dessa lade däremot stor vikt vid om ansökan uppmärksammade forskarens identitet och hur denna kunde tänkas påverka analysen, något som vägde avsevärt lättare i samhällsvetarnas bedömningar.
Studien är ett exempel på att istället för ett enhetligt kvalitetsbegrepp används en mängd olika, ibland motstridiga, definitioner av kvalitet, vilket enligt Gemzöe manar till handling.
– Vi måste sluta att betrakta bedömning som en helig ko, säger Gemzöe. Låt oss helt enkelt ta upp bedömningsfrågorna på bordet och begripliggöra vad det är vi egentligen håller på med.

Kognitiv partiskhet

Ett av uttrycken för den kognitiva partiskhet som beskrivs ovan är det den amerikanska vetenskapssociologen Michelle Lamont, en av de forskare som refereras i Gemzöes rapport, kallar homofili. Homofili avser i detta sammanhang tendensen att man som bedömare definierar vetenskaplig kvalitet och excellens i termer av den forskning som är mest lik den man själv arbetar med eller skulle vilja åstadkomma. Mekanismen löper som en röd tråd genom de bedömningsprocesser Lamont studerat och i hennes intervjuer med bedömare återkommer vid upprepade tillfällen berättelser om hur deras vetenskapliga ”smak” och egna erfarenheter påverkar deras preferens för ett visst projekt.
– Att man uppvärderar det man själv eftersträvar är inte så konstigt, eftersom det bara är när man själv är inne i ett område på detaljnivå som man kan se vad som är riktigt originellt och intressant. Det vet alla som sysslat med bedömning. Men homofili är en stark kraft som man bör vara medveten om när man organiserar bedömningsprocesser, säger Gemzöe.
Flera av forskarna inom området påvisar att existensen av diversifierade kvalitetsbegrepp kan få särskilda konsekvenser för tvärvetenskaplig forskning. Resultaten, menar Gemzöe, är i hög grad relevanta för genusforskningen som kännetecknas av att den existerar dels som ett eget fält, dels som ett teoretiskt perspektiv inom en mängd discipliner inom såväl samhällsvetenskap och humaniora som inom naturvetenskaperna. Genusforskningen löper därför, i likhet med annan tvärvetenskaplig forskning, större risk att utsättas för kognitiv partiskhet än en-disciplinär forskning.
– När genusforskningen bedöms med inomdisciplinära kvalitetskriterier beror utfallet på hur väl dessa kriterier fungerar för att bedöma genusforskning inom området i fråga, något som kan variera avsevärt inom olika fält, säger hon.
Särskilt stor risk för att genusansökningarna ska missgynnas föreligger för den genusforskning som karaktäriseras av vad som i rapporten betecknas som ”radikal tvärvetenskaplighet”, det vill säga när perspektiv från minst två discipliner som inte vanligtvis interagerar med varandra används i forskningen. Att genusansökningarna, enligt Vetenskapsrådets egna utvärderingar, har haft svårare att ta sig fram inom medicin än inom humaniora och samhällsvetenskap, kan vara ett exempel på detta, säger Gemzöe.

Tydliga kriterier saknas

Att begreppet vetenskaplig kvalitet får varierande betydelser hänger enligt forskningen ihop med att det i många sammanhang saknas explicit formulerade gemensamma kriterier som ska utgöra grunden för bedömningen. Istället utgår man ofta från uppfattningen att kvalitet är en objektiv egenskap som intuitivt känns igen av en erfaren forskare när han eller hon träffar på den.
– Det här är en mycket vanlig inställning: ”I know it, when I see it”. När jag samtalade med bedömare i en kommitté i Europeiska forskningsrådet gav de uttryck för exakt den synen, säger Gemzöe.
Konsekvensen av att inte tydligt formulera kvalitetskriterierna kan i vissa fall, som den norska forskaren Liv Langfeldts studie av granskningar av forskningsprogram visar, bli ett slags tyst konsensus som lämnar en hel del övrigt att önska, inte minst när det gäller transparens och rättvisa.
– Man överlåter bedömningen till enskilda personer utan att diskutera vad det är som ska bedömas och det kan ju finnas hur många olika kriterier som helst i huvudet på dem som bedömer. Det betyder inte att den enskildes bedömning är dålig, eller att bedömningen är helt och hållet subjektiv men det är ju omöjligt att veta vad det faktiskt är man har kommit överens om, säger Gemzöe.

Beslutsfattandet i fokus

Förutom själva bedömningen av kvalitet visar såväl Langfeldts som Lamonts studier att även processerna kring själva beslutsfattandet förtjänar granskning.
– Steget mellan kvalitetsbedömningen och beslut måste sättas i fokus, säger Gemzöe.
Ytterligare ett lager ner i bedömningsprocessernas svarta låda påvisar Lamont nämligen ett flertal ljusskygga mekanismer, varav två är kohandel och personlig auktoritet. Kohandel innebär att underlätta för andra bedömare att få igenom sina kandidater, med förhoppningen att de ska återgälda stödet. Den personliga auktoritetens inflytande i beslutsprocessen handlar om bedömarens självpresentation och förmåga att hantera maktdynamiken i panelen. Och trots att en aggressiv, envis och målmedveten framtoning rimmar illa med vad flertalet anser vara en god bedömare, så kan en sådan ge utdelning, konkluderar Lamont.
Lamont visar också i sin studie av amerikanska expertpaneler att bedömarna använde sig av en rad informella kriterier för att rangordna forskningsansökningar. De informella kriterier som Lamont identifierar är exempelvis tecken på intelligens hos den sökande, om ansökan är elegant utformad samt signalerar moraliska egenskaper hos den sökande. De informella kriterierna, som var lika vanliga hos bedömare inom ekonomi som inom samhällsvetenskap och humaniora användes inte bara då de formella kriterierna inte utgjorde tillräcklig grund för beslut utan var en integrerad del av hela bedömningsprocessen.
Att känslor och informella kriterier påverkar bedömningen är egentligen inte särskilt förvånande, eftersom även bedömare är människor, menar Gemzöe. Frågan är emellertid hur de fungerar som verktyg för att flytta fram forskningsfronten och hur vi vill att ett modernt vetenskapssamhälle ska utformas, säger hon.
– De informella kriterierna bygger på ett lite gammaldags, elitistiskt ideal. Elegans och moraliska egenskaper är sådant som man som forskare kanske uppskattar, men om man har enats om att det viktigaste är att vetenskapen går framåt så kanske man istället ska välja en ansökan som är mindre elegant men mer originell.

Genus klarar konkurrensen

Påverkas då genusforskning, som en i flera sammanhang kontroversiell disciplin, mer av bedömningsprocessens känslomässiga och informella inslag än andra mer etablerade discipliner?
Inte nödvändigtvis, svarar Gemzöe och hänvisar till de utvärderingar från Vetenskapsrådet som visar att genusforskning klarar sig väl i konkurrensen med andra ansökningar inom såväl utbildningsvetenskap som humaniora och samhällsvetenskap. Men i andra sammanhang kan det föreligga en risk, menar hon.
– Det förekommer ju en mängd olika bedömningar, inte minst inom universiteten när interna rankingsystem ska ligga till grund för tilldelning av medel. I de sammanhang där genusforskning blir bedömd av personer som inte kan fältet finns risk att känslor och personlig smak tar överhanden. Särskilt som fältet av vissa fortfarande uppfattas som vetenskapligt ovederhäftigt eller mer politiskt än andra fält.
Enligt Gemzöe finns det i dagens forskarsamhälle en viss uppgivenhet i hur man ser på bedömning. Som systemet ser ut nu finns det med nödvändighet ett visst godtycke i utfallet som har att göra med hur en bedömningsgrupp råkar vara sammansatt vid ett visst tillfälle, säger Gemzöe.
– Bland forskarna talar man om att ”nu sitter den och den som bedömare och då främjas den och den forskningen”. Vi som forskare har godtagit att det är så, men det är inte så vetenskapssamhället beskriver det utåt. Då säger man istället att det var den bästa och mest originella forskningen som fick medel.

Förutsättningar för god bedömning

Vad blir då summan av detta? Hur kan den här forskningen hjälpa oss att skapa en god bedömning för forskning i allmänhet och genusforskningen i synnerhet?
De viktigaste förutsättningarna för att skapa en välfungerande bedömning för genusforskningen är de samma som för vilken annan forskning som helst, svarar Gemzöe. Man måste för det första utgå från en god kännedom om fältet och de olika inriktningar som finns. Vidare är det nödvändigt att dels föra en klargörande diskussion kring kvalitetsbegreppen med de sakkunniga, dels beakta hur de praktiska beslutsprocesserna påverkar utgången. Det är också viktigt att man sätter ihop bedömningsgrupper och formulerar kvalitetskriterier utifrån den specifika utvärderingens syfte.

God bedömning av genusforskning

När det gäller bedömningen av genusforskningen måste man fråga sig om målet är att främja ämnesintegrerad genusforskning eller genusforskning som eget självständigt fält. När det gäller det senare behöver genusforskarna försöka enas om vad som då ska definieras som god kvalitet, menar Gemzöe.
– Med tanke på hur heterogen genusforskningen som fält är så skulle det säkert inte bli särskilt lätt att komma överens, men om vi inte tar diskussionen om vilka kvalitetskriterier som ska användas riskerar även dessa bedömningar att präglas av godtycke.
Att som representant för forskarsamhället ifrågasätta det kollegiala bedömningssystemet är, enligt Gemzöe, lite som att svära i kyrkan. Inte desto mindre förespråkar hon, i linje med flera av de forskare som refereras i rapporten, vikten av att våga vara öppen för andra sätt att fördela forskningsanslagen. Tvärtemot den samtida tendensen med standardiserade skalor för kvalitet och ett fåtal instanser för bedömning behövs en mångfald av finansiärer, utlysningar och bedömningsstilar, menar hon.
Ett av argumenten för variation är att ett system där etablerade forskare alltid är de som pekar ut riktningen för framtidens forskning medför en risk för strömlinjeformning och stagnation.
– Varför ska det enda sättet att fördela medel vara att dra ihop tjugo etablerade experter som ska sitta och tycka på basis av sin egen forskning? Man kanske kan förhålla sig lite kreativt till det. Kanske kunde man till exempel låta unga forskare bestämma någon gång.

Skribent FRida Lundberg
visa fler nyheter ›