Att mäta forskning: bibliometri & altmetri

Bibliometriska analyser är matematiska och statistiska metoder för att studera publicerings- och kommunikationsmönster. De kan användas för att studera samarbete mellan forskare, institutioner och lärosäten, för att studera forskningens genomslag, eller vetenskaplig produktivitet. Metoderna kan också användas för att undersöka ett ämnesområde både innan och under ett forskningsprojekt, till exempel för att hitta kunskapsluckor inom ett ämne eller undersöka var man bäst publicerar sin forskning.

Antal citeringar som mått på forskningens genomslag

En vetenskaplig publikations genomslagskraft mäts ofta med antal citeringar, det vill säga hur många andra verk som har refererat till publikationen. Citeringar visar alltså på hur publikationen har använts vilket ofta tolkas som vilken genomslag publikationen har. Citeringar anses alltså vara en mätbar aspekt av publikationens, och därmed forskningens, kvalitet.

Citeringsmått kan användas för att undersöka hur olika forskare, lärocenter och länders forskning förhåller sig till varandra, vilka som samarbetar, hur mycket olika ämnen publicerar i vetenskapliga tidskrifter, och vilka tidskrifter de publicerar i. Citeringsmått kan även användas för uträkningar som rör medelstilldelning, som Vetenskapsrådet gör. De vanligaste källorna för att få fram information om citeringar är Web of Science, Scopus, och Google Scholar. Informationen om citeringar som man får fram ur respektive databas bygger på innehållet i databasen. Varje databas mäter bara citeringar till och från de publikationer som indexeras i den databasen – eftersom innehållet i databaserna skiljer sig åt kommer också antalet citeringar vara olika i olika databaser. Därför är det viktigt att ange vilken databas man har använt för att räkna ut antal citeringar för en publikation. Om man använder Google Scholar för att göra analyser så behöver man vara lite extra försiktig eftersom kvaliteten på deras citeringsdata kan variera. En fördel med Google Scholar är dock att de indexerar många olika publikationstyper.

Hur ökar jag mina citeringar då?

Genom att publicera högkvalitativ forskning inom ett hett forskningsämne. Det finns även statistiska samband mellan typ av artikel och antal citeringar – det finns till exempel studier som visar att översiktsartiklar citeras i genomsnitt cirka tre gånger så mycket som originalartiklar, och tidskriftens Journal Impact Factor verkar också kunna påverka citeringsgraden.

Några vanliga mått och analysmetoder

h-index mäter en författares genomslag baserat på antal publikationer och antalet citeringar till de publikationerna. En författare med ett h-index på 10 har publicerat minst 10 verk som blivit refererade till minst 10 gånger. När en databas anger en författares h-index bygger det på innehållet i just den databasen, och det är därför viktigt att ange från vilken datbas man har tagit information om en författares h-index. h-index är enkelt att räkna fram men svårt att tolka, och påverkas i stor utsträckning av hur länge personen i fråga har varit aktiv forskare och inom vilket fält hen verkar.

Journal Impact Factor (JIF) är ett vanligt mått inom forskningsanalys. JIF är en betaltjänst som ägs av Clarivate, som också äger Web of Science, och de uppmanar användare av JIF att även undersöka tidskrifter med andra metoder och inte bara lita på JIF som ett mått på kvalitet. Eftersom JIF baseras på Web of Science finns det också många högkvalitativa tidskrifter som saknar JIF eftersom de helt enkelt inte indexeras i Web of Science.

En tidskrifts impact factor anges per år och räknas ut genom att dividera antalet citeringar som gjorts till alla artiklar i en tidskrift det året med antalet publicerade artiklar i tidskriften de två föregående åren; det förhållandet anger alltså hur mycket en “genomsnittlig artikel” i tidskriften citerats.

Bibliografisk koppling och co-citeringsanalys är metoder för att undersöka kopplingen mellan två publikationer. Dessa metoder kan vara värdefulla att använda sig av till exempel när man läser in sig på ett nytt ämnesområde.

Bibliografisk koppling beskriver hur stor andel gemensamma referenser två publikationer har – ju högre andel gemensamma referenser två publikationer har desto starkare koppling anses publikationerna ha till varandra.

Co-citering handlar också om gemensamma referenser men åt andra hållet – två dokument anses ha en stark koppling till varandra om de båda citeras i en tredje publikation.

Kritik mot bibliometrisk analys

Att använda antal citeringar som mått på kvalitet kan vara tveksamt ur flera synvinklar. En utmaning är ju till exempel att citeringen visar att nån har refererat till ens publikation, men inte varför. Eftersom publiceringstraditionen ser olika ut inom olika forskningsområden kommer viss forskning premieras när man undersöker dess genomslagskraft genom vissa citeringsdatabaser. Till exempel är engelska språket helt dominerade i de flesta stora citeringsdatabaser. Mycket forskning som görs inom länder är på det egna språket, vilket gör det svårt att jämföra viss forskningsoutput mellan länder och svårt att jämföra vissa ämnen inom samma land. Samma sak gäller val av publikationstyp – är traditionen inom ens ämnesområde att publicera sina resultat i form av artiklar i vetenskapliga tidskrifter, böcker, kapitel, rapporter, konferensbidrag, eller något annat.

En annan utmaning gäller själva citeringsdatabasernas utformning. För att veta exakt hur många gånger andra har refererat till en publikation krävs det att exakt allt som någonsin skrivits indexeras i samma databas, vilket inte är fallet. Bibliometriska analysmetoder ger i första hand en indikation på tidigare prestationer, och gynnar i många fall alltså redan etablerade forskare. Samtidigt finns det en inräknad eftersläpning eftersom man ofta räknar citeringar på en period av 3-5 års tid, vilket betyder att det tar lång tid för ett eventuellt genomslag att synas i analyser.

En annan risk med bibliometrisk analys är att forskare kan börja utformar sin publiceringsstrategi utifrån vad som mäts och premieras i utvärderingar snarare än vilken typ av publicering som till exempel når forskarens målgrupp. Ett exempel på detta är så kallad salamipublicering/salami slicing, det vill säga att dela upp vad som skulle kunnat vara en publikation i flera publikationer. Det finns även de som argumenterar för att prestationsmått gör forskningen mindre kreativ.

Det finns många idéer kring hur man kan göra för att hantera dessa, och andra, eventuella nackdelar med publiceringsanalys och bibliometrisk analys. En idé är att komplettera antal citeringar med andra faktorer, som till exempel redaktörskap, insatser som granskare, arrangering av seminarier, tredje uppgiften, med mera, när forskning utvärderas.

Vill du läsa mer om kritik mot bibliometrisk analys? Se till exempel Broström et al. (2021).

Fuzzy metrics är ett begrepp som beskriver hur man kan använda mått som exempelvis acceptansgrad (lägre acceptansgrad tyder på mer prestigefull tidskrift), prenumerationer (tidskrifter med många prenumeranter har större genomslagskraft), eller biblioteksbestånd (om många bibliotek har tidskriften i sitt bestånd har den större genomslagskraft). En utmaning med detta är förstås att denna typ av mått kan vara ännu svårare att mäta än vad citeringar är. Antal citeringar är trots allt en hyfsat rättfram metod för att mäta en aspekt av forskningens genomslag.

Altmetri

Altmetri är alternativa mått på hur en forskningspublikation uppmärksammas på olika sätt i media och på sociala plattformar. Altmetri skiljer sig alltså från citeringsanalys, och mäter istället andra tecken på att en publikation uppmärksammats. En fördel med altmetri är att den kan visa tecken på en publikations genomslag innan publikationen har börjat citerats. Altmetri är också ett sätt att visa på hur andra målgrupper än den akademiska delar och använder ens forskning, till exempel om organisationer och yrkesverksamma delar och diskuterar ens publikationer via olika plattformar.

En typ av altmetriskt mått är omnämnanden i olika medier som till exempel nyhetsartiklar, delningar och retweets på Twitter, delningar och kommentarer på Facebook, olika diskussionsforum för forskare, omnämnanden i wikipediaartiklar, och så vidare. Ett annat altmetriskt mått är antal klick eller nedladdningar av en publikation, vilket visas i DiVA till exempel. I DiVA finns dessutom en koppling till Altmetric, en av de största leverantörerna av information om altmetri. I publikationer i DiVA som har altmetri kopplat till sig skapas en klickbar “munk” (altmetric donut) som visar fördelningen av olika typer av omnämnanden samt en länk till mer information.

Sidinformation

Senast uppdaterad:
5 februari 2024