Valtioneuvoston kanslia toteutti yhdessä Tieteellisten seurain valtuuskunnan kanssa vuonna 2020 selvitys- ja tutkimustoiminnan hankkeiden tuottamien raporttien laadunarviointikokeilun. Kokeilulla tuettiin hanketoimijoiden ja ohjausryhmien yhteistyötä raporttien tutkimuksellisen laadun varmentamisessa. Laadunarvioinnilla pyrittiin vahvistamaan raporttien tieteellistä painoarvoa, kun myös hankkeen ulkopuoliset tutkijat saivat mahdollisuuden kommentointiin. Kokeilusta saadut kokemukset ovat varsin myönteisiä.
Miten kokeilu toteutettiin?
Laadunarviointikokeiluun osallistui vapaaehtoisuuden perusteella kahdeksan selvitys- tai tutkimushanketta. Valtioneuvoston kanslia valitsi arvioitsijat Tieteellisten seurain valtuuskunnan seuroiltaan pyytämien esitysten pohjalta. Arviointiin osallistui tutkijoita muun muassa Suomen Mineralogisesta Seurasta, Suomen Geologisesta Seurasta, Sosiaalipoliittinen yhdistyksestä, Nuorisotutkimusseurasta ja myös Suomen tieteen- ja teknologiantutkimuksen seurasta.
Kokeilu toteutettiin siten, että raporttiluonnoksista pyydettiin lausunnot kahdelta hankkeen ulkopuoliselta tutkijalta, joiden henkilöllisyys pidettiin salassa. Arvioitsijoita pyydettiin kiinnittämään huomiota raporteissa käytettyjen aineistojen ja menetelmien luetettavuuteen ja riittävyyteen, arvioimaan tulosten uskottavuutta ja keskeisten lähteiden esille tuomista sekä yleistä kirjoitusasua.
Lausuntojen perusteella hanketoimijat laativat vastineen arvioinnissa esitetyistä muutosehdotuksista ja tarpeen mukaan muokkasivat raportteja.
Kokeiluun sisältyi myös palautteen kerääminen arvioitsijoilta, hanketoimijoilta ja ohjausryhmiltä. Palaute osoittautui varsin myönteiseksi. Koettiin, että ulkopuolisen arvioitsijan näkemykset paransivat raporttien laatua ja luettavuutta.
”Muiden antama palaute on aina hyödyllistä, ja auttaa muokkaamaan sisältöjäkin. Arviointi voi parhaimmillaan kannustaa raporttien laatijoita laadukkaaseen ja viimeisteltyyn työhön”, totesi eräs hanketoimija palautteessaan.
Myös raporttien tutkimuksellinen painoarvo vahvistui arviointien myötä ja lausunnot auttoivat ohjausryhmää luottamaan tuotettuun tieteelliseen laatuun.
”Ohjausryhmä saattoi oman arvionsa tueksi luottaa tieteellisen laadunvarmistuksen kautta siihen, että raportti on korkeatasoinen”, kertoi erään hankkeen ohjausryhmän puheenjohtaja.
Myös kokeiluun osallistuneet arvioitsijat kokivat tehtävän mielekkääksi, ja arvioitsijoita saatiin melko hyvin lyhyelläkin aikataululla kokeiluun mukaan.
”Laadunarviointia kannattaa mielestäni harrastaa jatkossakin, sillä ulkopuolinen revidointi tällä tavalla toteutettuna on hyödyllinen ja uskoakseni ajan mittaan myös raportoinnin laatua nostava tekijä”, mainitsi eräs arvioitsija.
Joissain tapauksissa arvioitsijat edustivat hieman eri tieteenalaa kuin mitä arviointitehtävä olisi vaatinut, mikä näkyi arvioinneissa. Myös hankkeen raportin valmistumisen ja arvioinnin aikataulujen yhteensovittamisessa havaittiin välillä haasteita. Arviointipalautteen laatu myös vaihteli – osa arvioinneista jäi hieman pinnallisiksi, mutta osa arvioitsijoista teki hyvinkin perusteellista työtä.
Laadunarviointia jatketaan vuonna 2021
Loppuvaikutelmaksi kokeilusta jäi, että raporttien laadunarviointi on hyödyllistä ja että arviointien teettäminen on hyvä sisällyttää pysyvämmin osaksi valtioneuvoston selvitys- ja tutkimustoimintaa.
Arvioinnin toimintamallia täsmennetään, ja siitä pyritään tekemään mahdollisimman jouheva sekä hankkeille että arvioitsijoille. Myös Tieteellisten seurain valtuuskunta on lupautunut jatkamaan yhteistyötä arvioitsijoiden rekrytoinnissa.
Vuoden 2021 tavoitteena on toteuttaa arviointi noin kymmenelle mukaan ilmoittautuvalle hankkeelle.
Vuonna 2020 laadunarviointiin osallistuneet hankkeet:
- Monialaisen yhteistyön vaikuttavuuden arviointi nuorten työllistymistä edistävissä palveluiss
- Lapsilähtöinen budjetointi
- Sääntelyn vaikutukset innovaatiotoimintaan ja markkinoiden kehittymiseen
- Suomen kansallisen geotietoaineiston arvo ja mineraaliklusterin kilpailukyky- ja vaikuttavuustutkimu
- Kestävyyden johtaminen ja toimeenpano paikallistasolla
- Korruptiotilanteen seurannan indikaattorit Suomessa
- Digihyvinvointi perheissä - Suomi hyvin käytetyn ajan mallimaaksi
- Kansallinen ennakointi 2020 – ekosysteemin kartoitus, ennakointikyvykkyyden arviointi ja kehittämissuositukset
Teksti: Sanna Malkki, valtioneuvoston kanslia
