söndag 8 februari 2009

Ingen rankning av humanistiska tidskrifter

Få saker är mer kontroversiella inom humaniora och samhällsvetenskap än försöken att applicera naturvetenskapliga rankningssystem inom vår gren av vetenskapen. Kan man verkligen bedöma forskning inom litteraturvetenskap, religionshistoria och koptiska enligt samma normer som inroganisk kemi, genetik och jonfysik? Frågan har blivit mer brännande under det senaste decenniet då ökad konkurrens om anslagen inom hela universitetsvärlden medfört önskemål från administrativt håll att lite snabbt kunna räkna ut vem som är "bäst" och "mest meriterad". Naturvetenskapliga tidskrifter rankas internationellt enligt ett system som utgår ifrån hur pass svårt det är bli publicerad i dem, hur pass hård granskningen av manus är och hur pass internationell spridning de har.

Systemet är långt ifrån oantastligt så klart, det har funnits åtskilliga exempel på undermåliga och t.o.m. plagierade texter som tryckts i de fina tidskrifterna, samtidigt som banbrytande verk refuserats. Men det finns åtminstone en logisk förutsättning - kolatomer och haplogrupper och strontium är inte nationella eller regionala angelägenheter - de är globala. Poeter, bronsåldersfort och förändringar i brottsbalken vid övergången till 1800-talet är i grunden mer lokalt och nationellt angelägna, av god anledning. De kan även, i vissa fall, generera forskning som faktiskt är av globalt intresse - men om de inte gör det betyder det inte att resultaten var meningslösa.

Men när administrationen talar lyssnar man och ESF (European Science Foundation) hade dragit igång ett projekt att införa ett viss rankningssystem av olika humanistiska tidskrifter: ERIH. Martin Rundkvist har skrivit lite tidigare om det märkligt godtyckliga i denna rankning. Nu meddelar han på sin blogg att ESF backat och dragit tillbaka sitt föreslagna system - delvis efter ett tydligen omfattande uppror bland framträdande redaktörer på tidskrifterna ifråga - även de som skulle fått en potentiellt hög rankning. Times Higher Education rapporterar:
The decision came as 61 international journal editors prepared to fire their
first salvo of the year against the index. The editors, of the history of
science and science studies journals, said they intended to publish editorials
in their first issues of 2009 requesting that their journals be withdrawn from
the ERIH, a plan first reported in Times Higher Education last October.
Skriftliga omdömen kommer finnas kvar, men bokstavsrankningen som var föreslagen (A, B, C, -) kommer skrotas för att förhindra att det används som ett enkelt betygssystem. Grus i maskineriet för byråkratin, men i långa loppet ett bra val i min mening. De flesta verksamma inom ett ämne har full koll på vilken prestige olika tidskrifter har (eller inte har). Bedömningar av sökanden tar redan nu hänsyn till inte bara hur mycket man har publicerat, utan även om en del av den publiceringen skett internationellt, och det lär fortsätta oavsett rankning. Vad detta betyder är att det inte räcker med att en administratör sitter och adderar antal sidor med antal poäng per tidskrift multiplicerat med antal citations och utropar en vinnare. En viss kvalitativ bedömning av hopplöst subjektiva sakkunniga kommer vi nog tyvärr aldrig komma undan. Och bra är nog det.

Men som alltid gäller Publish or Perish


Läs även andra bloggares åsikter om , , , , , ,

10 kommentarer:

Martin sa...

Av amerikanska kollegor har jag hört att det där med publish or perish är överspelat inom humaniora. Numera är det publish and perish anyway.

Leif Häggström sa...

Det var ju faktiskt goda nyheter. Första gången jag hörde talas om tanken var när jag pratade med Kristian Kristiansen, kan det ha varit en handledningssituation kanske? Länge sedan var det i alla fall.

Personligen skulle jag gärna se att publish or perish gällde visavi arkeologiska undersökare för att rensa bort de som inte aktivt redovisar utåt vad de tar fram.

ArchAsa sa...

Martin: Ja tyvärr kan man knäcka sin hälsa på att publicera sig utan att få något i utbyte - inga garantier här inte...

Leif: Det verkar som länsstyrelserna sakta men säkert är på väg åt det hållet. Problemet är ju att det inte finns några nationella riktlinjer, så det är upp till varje länsantikvarie att ta ställning till vad som är viktigast - bra resultat och publicering, eller billiga skambud.

Martin sa...

En märklig variant var Norrortsleden i Fresta och Täby där man lade steg-2-pengarna på en populärvetenskaplig antologi, "Hem till Jarlabanke". Nu är de flesta av bidragen hyfsat akademiska till sin karaktär, men ordern var faktiskt att deltagarna skulle gå direkt från DAFF till populärvetenskaplig förmedling utan att passera forskningsledet. Det är knappast en framkomlig väg.

Leif Häggström sa...

-> Martin, gjorde inte Bengt Nordqvist något liknande med Huseby klev. Först en populär liten bok (Världens äldsta tuggumi) sedan en rudimentär rapport (efter 10 år).... Han har fått ett extremt högt rankningsnummer i länsstyrelsen Västra Götalands ranking av de i regionen aktiva arkeologerna...... Den rankingen är lika förment objektiv som den av tidskrifter, och precis lika missvisande....

Martin sa...

Jag har rätt kass koll på västsvenskt mesolitikum, men den M.O. du beskriver återfinns även i Finnestorp-projektet. Jag är glad att Bengan har grävt upp alla fina saker, men jag skulle bli ännu gladare för en enkel DAFF.

Leif Häggström sa...

Martin, det finns en fyndkatalog över utvalda fynd från Finnestorp:
GOTARC serie C No 63. Bengt Nordqvist 2006. Offerplatsen Finnestorp. Grävningsredogörelse för Offerplatsen Finnestorp 2000-2004.
Hade precis för mig att den slkulle finnas digitalt men där gick jag bet. Antar att den försvann vid institutionssammanslagningen på humfak vid GU

Martin sa...

Nej, jag är ledsen: skriften du nämner är varken en rapport, en forskningspublikation eller en populär presentation. Det är en rätt originell "grävningsredogörelse" och innehåller inte de vanliga beståndsdelarna i en rapport.

mjn sa...

Jag har ingen erfarenhet om forskning inom humaniora, men jag förstår inte riktigt varför naturvetarsystemet skulle vara mer främmande där. Däremot är det ju svårt att hitta en naturvetare som försvarar rankingsystemet som gäller för oss så jag förstår varför ni kämpar emot... bara inte argumentet.

"Naturvetenskapliga tidskrifter rankas internationellt enligt ett system som utgår ifrån hur pass svårt det är bli publicerad i dem, hur pass hård granskningen av manus är och hur pass internationell spridning de har."

Det här stämmer egentligen inte heller riktigt. Den ranking som är nästan helt dominerande är impact factor. Det är helt enkelt antalet artiklar som publicerats i en tidskrift under två år och antalet citeringar under samma tid som registrerats av företaget Thompson-Reuters index ISI. Att detta sedan beror av faktorerna ovan är en annan sak.

Men debatten om hur bibliografiska index används/bör användas är het och går vidare,

ArchAsa sa...

mjn: Ja naturligtvis var jag lite krass när det gällde min beskrivning av rankning av NV-tidskrifter. Samtidigt är det lite missvisande att säga att det utifrån antalet citationer som man rankas eftersom det är mer troligt att man citeras och refereras till om man får sin text tryckt i en prestige-tidskrift än om man trycker samma alster i en mer obskyr tidskrift. Så det blir lätt självuppfyllande.

Vissa tidskrifter är påkallad läsning för de som vill hänga med, de prenumereras på av fler universitet osv. De har en global spridning helt enkelt. Andra når knappt utanför landsgränsen och får därmed färre citeringar internationellt. Alla vill naturligtvis bli så lästa som möjligt, men att få sin text publicerad av Nature eller Lancet kräver en hel del: kvalitetsmässigt, trendmässigt och i inflytande över redaktörerna.