Evaluaatiotutkimuksen meta-analysointia Porissa – voiko kesäpäiviä tylsemmin viettää?

Evaluutiotutkimuksen yksi keskeinen ongelma on se, että vaikka itse tutkimusraportti olisikin tehty kunnolla, kukaan ei hyödynnä sitä.

Monista nuorisoalan toimijoista ja tutkijoista tämä kuulostaa tutulta, vaikkakin asiasta on keskusteltu liian vähän tai on analyyttisesti ja perusteellisesti pysähdytty miettimään, mitä asialle voisi tehdä. Kansainvälisessä evaluutiotutkijoiden konferenssissa kesäkuussa Porissa (8th International Conference on Evaluation for Practice) tämäkin kissa nostettiin pöydälle. Konferenssissa oli myös muutama muu nuorisoalan evaluaatiotutkimuksen kehittämisen kannalta kiintoisa ja antoisa esitelmä.
 
Evaluaatiotutkimus on epätieteellistä. Sitä on tehtävä, koska rahoittajat niin vaativat, muutoin… EVVK. Tunnistettavia ajatuksia? Keskityn tässä evaluaatiotutkimuskonferenssin nuorisoprojektien arvioinnin problematiikan kannalta kiintoisimpiin esitelmiin. Perusteellisin oli australialaisen tutkijan James Herbertin tapaustutkimus siitä, miten lastensuojelun piirissä toimivat niin sanotun kolmannen sektorin palvelujen tarjoajat (NGO, non governmental organisations) hyödyntävät toiminnastaan tehtyjä arviointitutkimuksia. Herbert ei väittänyt Sydneyssä tekemänsä tutkimuksen tuloksia yleistettäviksi, mutta niitä vasten voi peilata myös suomalaisten lastensuojelu- ja nuorisoprojektien maastoa.
 
Tutkikaa vaan, teemme silti niin kuin aina ennenkin!
 
Evaluaatiotutkimusten tuloksilla on Herbertin mukaan poliittista ja taloudellista painoarvoa. Jos evaluaatioissa saadaan odotustenvastaisia tuloksia, niitä pelästytään ja ne koetaan uhkiksi. Niiden myötä järjestöltä (NGO:lta) voi mennä maine, ja paljon muutakin. Siksi jotkut kolmannen sektorin toimijat, niin johto kuin kenttätyöntekijätkin, saattavat suhtautua heidän toiminnastaan tehtävään arviointitutkimukseen jo valmiiksi kielteisesti, ja se yksinkertaisesti sivuutetaan. Toiminta jatkuu niin kuin aina ennenkin, sanoivat evaluoijat mitä hyvänsä.
 
Evaluaatiotutkimuksen tuloksia ei aina koeta myöskään työn kannalta olennaisiksi ja päteviksi, huomioonottamisen ”väärteiksi” toimijoiden piirissä. Lastensuojelun ongelmien kanssa kamppailevat kenttätyöntekijät kokivat – ainakin australialaisissa tapauksissa – arviointitutkimusraportit usein liian abstrakteiksi ja epämääräisiksi ja toiminta jatkui niin kuin aina ennenkin, sanoivatpa evaluoijat mitä hyvänsä.
 
Lisäongelmia evaluaatioiden hyödyntämisessä aiheutti sekin, että joskus tutkittavan projektin rahoittajan (olipa se säätiö, yksityinen taho tai valtio) intressit painoivat liikaa sekä arviointitutkimusta tehdessä että myös sen tuloksia raportoitaessa. Rahoittaja määräsi sen, mitä evaluoidaan, mutta myös sen, miten raportin tuloksia ”jalkautetaan”. Joskus rahoittajat jopa estivät tulosten hyödyntämisen työntekijöiden oppimisprosessien tukemisessa! Kaikenlaista evaluaatiotutkimuksen karulla kentällä näkee Suomessakin; ehkä tämäkään ei ole australialainen erikoisuus?
 
Myös evaluaatiotutkimusten teko kiireellä aiheutti ongelmaa, johon tutkija James Herbert perehtyi haastatellessaan NGO-projektien kenttätyöntekijöitä. Nämä kokivat, että heillä olisi pitänyt olla oikeus kommentoida arviointitukijodien tulkintoja ja ”tuloksia” ennen niiden julkistamista. Heitä loukkasi, ettei heidän omia tulkintojaan heidän työstään ollut tutkittu kunnolla. Tämäkin oli omiaan aiheuttamaan heissä nurjaa asennetta evaluaatioita kohtaan. Se ei tietenkään tukenut raporttien löydösten ja opetusten hyödyntämistä. Herbertin metatutkimus evaluaatiotutkimuksen hyödyntämisen ongelmista kolmannen sektorin organisaatioissa on edelleen meneillään. Nämä olivat vasta tutkimuksen alustavia löydöksiä.
 
Vaarallisia tutkimustuloksia
 
Neljän naisen tutkijaryhmä – JoDee Keller, Cathy Tashiro, Janice Laakso ja Christine Stevens – pohti marginaalisessa asemassa olevien ihmisryhmien ja näille suunnattujen ”elämänlaadun parantamisprojektien” evaluoinnin eettisiä, metodologisia ja poliittisia ongelmia. Empiirisenä tapauksena heillä oli rötisköalueen tilalle USA:n Pacific Northwestissä rakennettu asuinalue, johon köyhät etnisten vähemmistöjen edustajat sijoitettiin entistä ehompiin taloihin. Asukkaat eivät olleetkaan pelkästään onnellisia uusista taloista: sisävessoista, kaakeloiduista kylpyhuoneista, paremmista pyykinpesumahdollisuuksista. Vanha yhteisöllisyys oli kadonnut. Sitä haikailivat monet haastatellut. Pyykit pestiin yksin, eikä yhteisessä pyykkituvassa, ja naapuriin muutti vieraita ihmisiä, eikä vanhoja tuttuja.
 
JoDeeKeller ja kumppanit kertoivat, että evaluaation teettäjät eivät olleet kiinnostuneita tästä löydöksestä ja yrittivät ensin sivuuttaa ja sitten torjua sen. Sinnikkäiltä tutkijanaisilta otettiin rahoituskin pois jossain vaiheessa, koska heidän ”tuloksensa” olivat liian kielteisiä. He jatkoivat projektiaan muilla rahoituksilla, ja alkoivat pohtia tutkimustaan myös metatasolla. Heidän useista problematisoinneistaan kuului kysymys, onko edes eettistä kertoa tällaista tulosta. Siihen vedotenhan joku ”vähemmistöjen hyysäämisen” kriitikko isoista rahoituspäätöksistä vastaavat päättäjät vanavedessään saattoi argumentoida, ettei ”ne värilliset köyhät tule millään onnellisiksi, joten parasta olla antamatta niille mitään”.
 
Kuulostaa tuskallisen tutulta ongelmalta, monella tapaa. Omalla tavallaan myös meille, jotka olemme arvioineet niin sanotuille syrjäytyneille nuorille tai ”syrjäytymisvaarassa” oleville suunnattuja projekteja. Jos ja kun evaluoinnin loppupuolella alkaa tutkijasta näyttää siltä, että ”huonohko projekti ja kohdenuoretkin vain nurisevat”, onko eettistä raportoida näin kielteisiä tuloksia? Mitä jos tällä perusteella loputkin rahat otetaan tämän tyyppisiltä projekteilta pois?
 
Evaluoijan ”kultainen sääntö” sanoo, että viime kädessä on aina huomioitava tutkittavien etu ja oltava tarkkana, ettei vahingoita sitä. Onko ”syrjäytyneiden nuorten” etu saada mieluummin edes puolitekoisia projekteja kuin ei mitään? Onko työttömälle nuorelle parempi antaa edes puolivillaista touhua kuin ei mitään? Olisiko siis tällaisten projektien ongelmista kerrottaessa parasta pitää sordiino päällä? Ettei vaan viedä tuhkiakin pesästä, kun rahoitustakin karsitaan kaikkialta. Sekä australialaisen tutkijan että amerikkalaisnelikon esitelmät osuivat niihin kohtiin, joita olen itse pohtinut ja tuskaillut nuorisoprojektien evaluaatioita tehdessäni, liian yksin.
 
Liukasta sakkia
 
Vielä israelilaisen Uri Yanan esitelmä, jossa esitettiin vain yksi huomio yhdestä pienestä asiasta, kaavakuvan kera, jäi mietityttämään. Kutsuttuna puhujana esitelmöinyt professori Yana totesi, että toistuvasti niin sanottujen syrjäytyneiden, moniongelmaisten ja muiden tällaisiksi määriteltyjen tukemiseksi tarkoitettuja projekteja arvioitaessa todetaan, että ”projektin alkuvaiheen jälkeen ryhmästä hävisi ja hiipui pois noin viidesosa”. Arviointiraportit jatkuvat tyypillisesti: ”Tämä on luonnollisena pidettävä poistuma; näinhän käy kaikissa projekteissa. Joten siirtykäämme seuraavaan asiaan…” Yana kysyi, että mitä jos evaluoijina paneutuisimmekin juuri tähän ryhmään, joka ”hiipuu”. Mitä heille tapahtuu? Miksi he lähtevät? Mihin he joutuvat? Ja miksi näin käy lähes toistuvasti, että vähintään noin viidesosa katoaa? Tosiaan: näinhän käy työväenopiston kursseillakin! Ja lähes kaikkialla inhimillisten pyrintöjen alalla. Kutsuesitelmän pitäjältä kysyttiin innokkaasti, koulututkijoiden ”pulpetista”, että sopisiko tämä näkökulma koulupudokkaidenkin tutkimiseen? Professori murahti vain ”why not?”. Eikä enempää.
 
Nerokasta tai banaalia, kuten koko esitelmä. Mutta konferenssista lähtiessäni päässä resonoivat – varsinkin – nämä kolme esitelmää, nuorisoprojektien evaluoinnin teemojen kanssa.

Jaana Lähteenmaa
Kirjoittaja työskentelee tutkijana.