torsdag 20 oktober 2011

Är granskning en garanti?

Två delvis olika men närbesläktade frågor kring vetenskaplig publicering har diskuterats ivrigt på både bloggar och i medier den senaste tiden. Det ena rör huruvida det är fel av journalister att tillåta forskare att få gå igenom artiklar om deras forskningsresultat innan de går i press. Man har oroat sig för att det på nåt vis minskar journalistens kritiska position. Jag kan förstå den synpunkten, men jag vill ändå påstå att det är en världsvid skillnad mellan publicering av forskningsresultat i massmedia och publicering av politiska utspel. Av den enkla anledningen att journalister ofta har extremt svårt att förstå forskningen de presenterar och lätt kan göra stora misstag. Det finns oerhört många exempel på forskningsresultat som framställts på missvisande eller helt felaktigt sätt i media till stor förtvivlan för de involverade forskarna. Som arkeolog har jag fått ganska tjock hud efter att ha sett spaltmeter av missförstånd och tokigheter från välmenande journalister utan bakgrundskunskap.

Med det inte sagt att det inte vore bra om journalister sätter i system att även köra sin text förbi minst en annan forskare, och inskränker granskningsrättigheten till att gälla enbart citat och beskrivningar av resultat. Särskilt som det finns oerhört få professionella vetenskapsjournalister på dagens redaktioner. Forskare kan också ha en agenda och starka åsikter som färgar deras framställningar.

Den andra frågan rör hur pass tillförlitligt peer-review är, om det kan ses som en garant eller ej och om kritik och diskussioner kring nya forskningsresultat får ske innan en artikel har kommit i tryck. Om man överhuvudtaget får debattera forskning inför öppen ridå i dagspress och på bloggar. Inte minst efter kontroverserna med påstådda  arsenik-livsformer från Mars, och snabbare-än-ljuset-neutriner från Cern.

Efter ett antal år bakom de akademiska ridåerna inser man snabbt att peer review inte garanterar nånting. Bevis 1: Wakefields undermåliga och delvis framfuskade resultat att MPR-vaccin orsakar autism som publicerades i högvördiga Lancet. Bevis 2: Arsenik-bakterier i Science. I bästa fall kan processen sålla bort en del uppenbart felaktiga studier, men den egentliga granskningen kommer efter publicering. Det är då resultaten stöts och blöts av hela vetenskapssamhället, inte bara ett par utvalda specialister. De tunga tidskrifterna är dessutom drivna av samma nyhets-hets som andra medier. Det gäller att vara först med det nyaste och unikaste. Granskningsprocessen handlar inte bara om att sålla bort dåliga bidrag, utan minst lika mycket om att plocka in de mest "säljande".

Jag tycker man borde ändra syftet med peer review. Vissa tidskrifter skulle kunna erbjuda genomläsning av bidrag som en chans till kvalitetsförbättring för forskarna själva, och för tidskriftens redaktörer, men utan att det basuneras ut som garanti för forskningens korrekthet. För det är det inte. Vad som är försvårande är poängsystemet som styr vilka forskare som anses vara lyckade och anställningsbara. Det ger enorm fördel till artiklar publicerade i vissa utvalda tidskrifter. Det betyder att forskare som publicerar Open Access i t ex PLoS, som verkligen kan granskas öppet av alla, missgynnas gentemot de som kommer in i peer review skrifter som bara kan läsas av de som har råd med prenumerationen (och tro mig, den är knäckande). Som fristående forskare som inte längre är knuten till en institution hindras jag oerhört ofta från att ta del av nya artiklar på nätet, utan måste bege mig till ett bibliotek när de väl kommit dit (vilket kan vara månader senare).

Men om ni verkligen vill ha tips på hur ni ska göra för att bli refererade så finns det forskning på det nu...

Läs även andra bloggares åsikter om , , ,

5 kommentarer:

Jessica Parland-von Essen sa...

Att skylla på journalistisk "integritet" och inte låta en forskare faktakolla en artikel, tycker jag att är verkligt svagt.

Tvärtom bör en seriös journalist allt se till att en artikel kollas gällande just fakta. Det innebär ju inte alls att man låter någon diktera vad man sedan publicerar. Faktagranskning inskränker nog inte alls på journalistens frihet.

mjn sa...

Som jag skrev på Under Lagerbladet, och i en kommentar där, så tycker jag trots bristerna i peer review-systemet att man bör göra viss skillnad på granskad och ogranskad forskning. Även om en del skräp slipper igenom så är det mycket som fångas upp och filtreras.

Frivillig granskning skulle vara väldigt vanskligt och jag tror att den tidskrift som avskaffade granskningen snabbt skulle förlora i trovärdighet om de inte hade väldigt duktiga och kunniga redaktörer.

Jag tycker att det är väldigt bra att frågan om peer review och dess syfte och effekt kommer upp, men jag vill inte gå så långt som att förklara idén för trasig och avskaffa granskningen. Men det är viktigt att vi forskare understryker att den verkliga granskningen sker efter publicering. På det viset har ju debatten om neutrinerna bidragit oerhört till att ge (den intresserade) allmänheten en inblick i hur granskningsprocessen fungerar på riktigt.

Vad gäller inflytande och bibliografiska mått så håller jag med om att det har gått långt till överdrift. Men du har fel vad gäller PLoS. Det traditionella mätetalet impact factor (för den som inte vet: antalet citeringar/antalet publicerade artiklar) gynnas naturligtvis av många läsare, men också i stor grad av vilka artiklar man publicerar. PLoS har höga IF (Plos Biology, IF>12 och ingen av deras tidskrifter under 4). Det är värden som står sig mycket väl i konkurrensen och glädjande nog visar att kvalitets-open access börjar komma.

Jessica Parland-von Essen sa...

Kollegial granskning fyller nog en funktion genom sin anonyma procedur, som motvikt till Matteuseffekten. Båda bäst, det ena utesluter inte det andra och viktigt är ju att det också börjar finnas OA-publikationer av olika slag.

Henrik Brändén sa...

Saker är inte dåliga för att de inte är perfekta! För att parafrasera Churchill är kollegial granskning den sämsta tänkbara metoden att kvalitetsäkra forskning, förutom alla andra sätt som provats!

Och det faktum att impact factor och citeringstal inte säger allt om en tidskrifts eller forskares kvaliteter innebär inte att det inte säger någonting! Den forskning som på sikt blir citerad inom ett område är ju just den som väcker kollegornas intresse, som utgör något andra kan bygga vidare på. Man måste bara hålla i minnet (1) att antalet forskare som kan citera ett arbete skiljer mellan olika forskningsområden och (2) att riktigt revolutionerande insatser kan det dröja ett tag innan omvärlden inser betydelsen av och börjar citera.

Sedan ett missförstånd: Alla PLoS-tidskrifterna tillämpar kollegial granskning. Till PLoS Biology och PLoS Medicine kommer bara ett av tio insända manuskript genom nålsögat, och de tidskrifterna har idag en prestige som ligger bara snäppet lägre än Nature och Science. Open access och kollegial granskning står alltså inte på något sätt i motsats till varandra. Och de flesta jag pratar med utanför Sverige är övertygade om att det bara är en tidsfråga innan även de stora drakarna får strukturera om sin affärsmodell och låta oss alla komma in till dem.

ArchAsa sa...

Pee review är inte i sig dåligt, tvärtom är det för det mesta bra. Men faktum är att alltfler lobbyorganisationer och medicinska firmor använder sig av finansiellt tunga kampanjer för att ta sig in i de tunga tidskrifterna med mer eller mindre korrekta forskningsresultat. Samtidigt som vanliga forskare utan den sortens institutionella uppbackning finner det svårare och svårare att få in sina rön - om de inte lyfts upp som sensationella.

Jag tror PLoS har en bra konkurrensmodell för framtiden. Att granska bidrag, men trycka dem open access och låtaförfattarna behålla rätten att sprida sina figurer och bilder. Nackdelen är att det krävs bidrag direkt.

Det måste få finnas olika former att publicera sig, och impact factor-beräkningar måste bli mer komplexa. Inte minst inom humaniora som missgynnas grovt av nuvarande system.