Tieteen mittaamisen menetelmät kannattaa tuntea
Maria Forsman: Julkaisut ja tieteen mittaaminen. Bibliometriikan käännekohtia. Enostone 2016.
YT-neuvotteluiden ohella isoimmat yliopistoja koskevat otsikot taitavat kerätä yliopistojen ranking-listoja koskevat uutiset. ”Helsingin yliopisto rankattiin jälleen sadan parhaan joukkoon”, otsikoi YLE viime syyskuussa. Uutinen kertoi kyseessä olevan arvostetun vertailun, jonka kärkipaikoilla ovat anglosaksiset yliopistot. Tieteen arviointi ei ole kuitenkaan pelkästään kiinnostavaa, vaan se myös ohjaa merkittävästi resurssien jakoa. Pitkän uran kirjastoalalla ja tutkijana tehneen Maria Forsmanin teos antaa tiiviisti perustietoa tieteen mittaamisesta bibliometriikan keinoin sekä avaa mittausmenetelmien mahdollisuuksia ja haasteita. Forsman määrittelee bibliometriikan eräänlaiseksi sateenvarjokäsitteeksi, joka kokoaa alleen erilaista julkaisuihin liittyvää tutkimusta ja menetelmiä. Bibliometriikan voi tiivistää julkaisujen tilastolliseksi analyysiksi, julkaisujen mittaamiseksi. 2010-luvulla bibliometriikka on altmetriikan myötä laajentunut myös tiedon jakamisen tutkimiseen. Lisäksi Forsman kertoo, miten bibliometriikkaa on käytetty hyväksi ja kuinka sitä on kritisoitu. Kirjoittajan oma historia on sympaattisella tavalla mukana teoksessa. Forsman pystyy kertomaan omasta ja suomalaisen yliopistolaitoksen suhteesta bibliometriikkaan tiiviisti ja kiinnostavasti. Kirjan esimerkit pohjautuvat tekijän tutkimuksiin ja analyyseihin, joita hän on tehnyt muun muassa Helsingin yliopiston tutkimuksen arvioinnissa. Tästä seuraava Helsinki-keskeisyys ei muodostu ongelmaksi, koska useimmat esimerkit kelpaavat sovellettavaksi muissakin yliopistoissa. Forsman pystyy avaamaan hyvin julkaisukulttuurin ja tieteellisten kirjastojen roolin muutosta. 2000-luvulla elektroninen aineisto on noussut korvaamaan painettua aineistoa – jonka voi havaita ihan paljaalla silmällä monessa tieteellisessä kirjastossa. Muutoksen myötä suurten kansainvälisten tiedekustantajien merkitys on entisestään kasvanut sekä tieteellisessä julkaisemisessa että viittaus- ja viitetietokantojen tuotannossa. Kirjaston käyttäjä sen sijaan ei huomaa, että myös kirjastojen yhteistyön merkitys kasvaa. Jo nyt elektronisen aineiston hankinnassa käytetään muun muassa FinElib-konsortiota, jolla on voimavaroja neuvotella kansainvälisten kustantajien kanssa. Kirjastot ovat myös mukana kansainvälisessä Open Access -liikkeessä, joka on kehittynyt vuosituhannen alkupuolelta lähtien ja edistää vapaata pääsyä tieteelliseen tietoon. Roolin muuttumista kuvaa esimerkiksi se, että Jyväskylän yliopistossa kirjasto ja museo yhdistyvät vuoden 2017 alussa Avoimen tiedon keskukseksi.
Viittausanalyysi – ehkä tunnetuin bibliometrinen menetelmä Bibliometrisistä menetelmistä ehkä tunnetuin ja käytetyin on viittausanalyysi. Sitä on käytetty, kun on haluttu selvittää, mitkä teokset tai tutkijat ovat saaneet huomiota. Usein kiinnostuksen kohteena on, mitkä julkaisut saavat paljon tai nopeasti viittauksia ja mitkä herättävät kiinnostusta toisissa tutkijoissa. Analyyseja on tehty jo 1920-luvulta lähtien, mutta vahvan pohjan ne ovat saaneet kansainvälisten viittaustietokantojen synnyttyä 1960-luvulta lähtien. Viittausanalyysi on mahdollistanut menestyneiden tutkijoiden ja merkittävien julkaisujen listoja, joilla on runsaasti media-arvoa. Analyysin tuloksia on jo 1970-luvulla käytetty apuna myös tutkijoiden rekrytoinnissa. Forsman korostaa, että nykyään viittausanalyysien teko on helppoa, nopeaa ja halpaa. Jos arvioinnissa kuitenkin jäädään vain viittausanalyyseihin ja julkaisujen määriin, jäädään paljosta paitsi. Hienosyisempi tutkimus vaatiikin enemmän tieteenalan ja bibliometriikan tuntemusta. Kun metriikan käyttö on tullut houkuttelevaksi tiedepolitiikassa, on vähemmälle saattanut jäädä pohdinta, mistä aineistosta luvut muodostuvat. Tutkimusdatan tunteminen olisi kuitenkin ensiarvoisen tärkeää erityisesti silloin, kun tuloksia käytetään päätöksenteon pohjana. Tietokantojen rajoitusten vuoksi esimerkiksi humanistisilla ja yhteiskuntatieteellisillä aloilla täytyy Forsmanin mukaan käyttää muita menetelmiä kuin viittausanalyysia. Forsmanin teoksesta on hyvä aloittaa, kun alkaa perehtyä näihin menetelmiin. Arviointikriteerit ja menetelmät kannattaa tuntea Forsmanin teosta – ja bibliometriikkaan tutustumista yleisemmin – voi suositella erityisesti nuorille tutkijoille. Se antaa perustietoa siitä, miten omaa toimintaa mitataan ja arvotetaan. Vaikka voikin olla masentavaa huomata, että oma yksilöllinen tutkijanura voidaan tiivistää numeroiksi ja osaksi oppiaineen, laitoksen, tiedekunnan tai yliopiston tulosta, niin se myös auttaa tutkijaa vaikuttamaan asioihin. Mittaustapojen tunteminen antaa välineitä vaatia asianmukaista arviointia ja estää bibliometristen tutkimusten väärinkäyttöä. Esimerkiksi julkaisujen merkittävyyttä arvottavia Julkaisufoorumiluokituksia on eräissä yliopistoissa käytetty yksittäisten tiedekuntien, laitosten tai tutkijoiden arvottamiseen, joihin niitä ei ole tarkoitettu. Forsman tuo esiin tieteen mittauksen historian ja nykyiset trendit. 2000-luvulla tutkimuksen arviointi on liittynyt tutkimuksen tuloksellisuuteen, näkyvyyteen ja tutkimusrahoituksen tehokkaaseen käyttöön. Forsmanin päätelmään, että arviointi on tullut jäädäkseen, voi yhtyä. Siksi arvioinnin periaatteiden ja menetelmien tunteminen on tärkeää. Vaikka yksittäisen tutkijan vaikutusmahdollisuudet ovat rajalliset, kriteerien tunteminen antaa mahdollisuuden edes tietää, miten itseä arvioidaan. Lisäksi tutkija voi tarvittaessa kritisoida arviointia silloin, kun sitä tehdään heikosti. Tärkeää on myös tunnistaa, millaisia kannusteita tieteen mittaaminen luo. On myös esitetty, että bibliometriikan käyttö saattaa luoda tutkijoille vääränlaisia kannusteita, jotka voivat johtaa huonoon tapaan tehdä tiedettä. Forsmanin teos on ajankohtainen ja tärkeä kirja kaikille tutkijoille. Erityisen ilahduttavaa on sen tiiviys ja selkeä rakenne. Tutkijoilla on yleensä vähän aikaa lukea mitään, mikä ei olisi välttämätöntä. Kirjan selkeä rakenne antaa mahdollisuuden etsiä teoksesta omalta kannalta tärkeimpiä kohtia ja hakea lähteitä. Teoksen lopussa on kronologia bibliometriikan virstanpylväistä ja sanasto keskeisistä käsitteistä sekä kirjallisuusluettelo.
Ainoastaan asiasanastoa voisi vielä kaivata, mutta yksityiskohtainen ja looginen sisällysluettelo riittää kyllä pääosin siihenkin tarkoitukseen.
JUHA JÄRVELÄ Kirjoittaja on jyväskyläläinen filosofian tohtori.