Arvioinneista

Ns. ”evidence-based” julkiseen päätöksentekoon liittyy erottamattomasti erilaisten aloitteiden, ohjelmien ja politiikkatoimien ex ante- ja ex post-arvioinnit. Näitä tuotetaan Suomessa kymmeniä joka vuosi elämän eri alueilla. Olen itsekin vastannut urani aikana useasta kymmenestä elinkeino-, työvoima-, ja innovaatiopolitiikkaan liittyvästä arvioinneista sekä esimerkiksi lukuisien lainsäädäntöaloitteiden taloudellisten vaikutusten arvioinnista.

Olen ihmetellyt vuosien varrella monesti sitä miten heikkotasoisia arvioinnit usein ovat. Tässä pitää toki katsoa itsekin peiliin, mutta väitän, että olemme yrittäneet kehittää erityisesti ex post-tyyppisiä jälkikäteisarviointeja kansainväliseen suuntaan. Tämä tarkoittaa kovien numeroiden korostamista Suomessa tutun ”löysän” kvalitatiivisen lähestymistavan rinnalle.

Miten arvioinnit perinteisesti toteutetaan?

Jos olet ollut ostajapuolella hankkimassa arviointeja, olet varmasti törmännyt tarjouksissa esimerkiksi ”temaattisiin arviointimatriiseihin”, ”holistiseen arviointiasetelmaan”, ”vaikutuslähtöiseen arviointimalliin” jne. jne. Rakkaalla lapsella on monta nimeä ja jokainen pyrkii erottautumaan tarjouksissa keksimällä toinen toistaan dynaamisemmalta vaikuttavia termejä. Mitä nämä kaikki käytännössä tarkoittavat? Yli 90 % kaikista arvioinneista, jotka olen nähnyt vuosien varrella, nojautuvat kolmeen asiaan: 1) Asiakirja- ja tutkimuskirjallisuuskatsaukseen, 2) sähköiseen kyselyyn (kyselyihin) ja 3) suureen joukkoon sidosryhmähaastatteluita. Näihin nojautuen sitten kirjoitetaan loppuraportti viimeisten viikkojen aikana ja hyvin usein johtopäätökset ovat tyyliä: ”Ohjelma on todennäköisesti edistänyt asetettuja tavoitteita” tai ”Arvioinnin kestäessä ei ole tullut esiin seikkoja, jotka antaisivat aiheen olettaa, että hanke ei ole edistänyt tavoitteita.” Vakavasti otettava kvantitatiivinen analyysi puuttuu lähes aina.

Miten ex post arviointi tulisi toteuttaa?

Älä ymmärrä väärin, kaikki edellä mainitut menetelmät kuuluvat arviointeihin. Ilman asiakirja-analyyseja ei voi perehtyä taustoihin, ilman haastatteluita ei saa selville esimerkiksi toteutukseen liittyneitä kipupisteitä tai toimintamalleihin liittyviä vaikutuksia ja kyselyiden avulla pystyy keräämään kattavasti näkemyksiä eri näkökulmista, millä on aina oma arvonsa. Viime kädessä kuitenkin, jos puhutaan ex post-tyyppisestä vaikutusarvioinnista, vaikutusten identifiointi ei voi nojautua mielipiteisiin, ja jos vaikutuksia ei ole mahdollista kvantifioida, voidaan kysyä missä väitetyt vaikutukset sitten piilevät.

Politiikkatoimien arviointi (politiikkatoimi tulee käsittää laajasti) tarkoittaa kausaalivaikutusten estimointia. Kausaalivaikutus tarkoittaa sitä, että politiikkatoimella on ollut osoitettavissa oleva erillisvaikutus kohdejoukkoon. Arviointitutkimuksen yleinen ja universaali haaste on politiikkatoimen (usein tästä käytetään termiä treatment) vaikutusten erottaminen muiden tekijöiden vaikutuksesta. Tähän viittaa myös usein kuultu lause ”korrelaatio ei merkitse kausaalisuutta”, jota oikeassa muodossaan toki tulee täydentää lauseella ”korrelaation puute ei merkitse kausaalisuuden puuttumista”.

Jos mahdolliset tulemat eivät ole riippumattomia politiikkatoimesta, yleensä keskimääräinen erotus kohde- ja verrokkijoukkojen välillä ei ole sama asia kuin politiikkatoimen keskimääräinen vaikutus (average treatment effect). Tämä on myös perimmäinen syy siihen miksi, vaikka arviointia pyrittäisiin toteuttamaan kunnianhimoisesti luomalla vertailuasetelma, pelkkä kuvaileva tilastoanalyysi ei riitä politiikkatoimen vaikutuksen osoittamiseksi.

Toki, mikäli minkäänlaista systemaattista tulemien analyysia ei edes yritetä, tai arviointi ei nojautu kohde- ja verrokkijoukkojen kehityksen analysointiin, edellä mainitulla ei ole väliä. Jos kuitenkin oletetaan näin tehtävän, kausaalivaikutuksen empiiriseksi identifioimiseksi on kehitetty useita peruslähestymistapoja. Näistä esimerkkeinä (englanninkielisin termein ilmaistuna, usealle ei löydy hyviä suomenkielisiä vastineita):

  • Randomized Experiments
  • Conditioning on Observables
  • Difference in Differences and Synthetic Controls
  • Instrumental Variables
  • The Regression Discontinuity Design

Jokainen näistä lähestymistavoista voidaan edelleen toteuttaa esimerkiksi suurilukuisella joukolla konkreettisia estimaattoreita, jotka sopivat eri käyttötarkoituksiin.

Perussanoma on kuitenkin se, että siinä missä Suomessa edelleen tyydytään hyvin usein vaikutusarviointiin, jossa ei edes ole mukana kvantitatiivista arviota politiikkatoimesta seuranneista tulemista, kansainvälisen tason vaikutusarviointi pitää itsestään selvänä, että vaikutuksien arviointi nojautuu tiukkaan dataan, ei mielipiteisiin. Mielenkiinto on siinä millä menetelmillä tietyssä tilanteessa voidaan luotettavasti osoittaa kausaalisuhde, ei siinä tulisiko vaikutusta ylipäätään arvioida kvantitatiivisesti.