Vaikuttiko näytteen valinta Pisa-katastrofiin?

Olemme koh­ta viikon kärvis­telleet kansal­lises­sa häpeässä rom­ah­ta­neen Pisa-men­estyk­semme takia. Olim­me­han enää vain paras Euroopan maa edel­lämme joukko aasialaisia mai­ta tai oikeas­t­aan kaupunke­ja, mut­ta mikä pahin­ta, matem­ati­ikas­sa Viro meni ohi. Lohdu­tus­ta saa vain siitä, että Ruotsin tulok­set ovat jopa Yhdys­val­to­ja huonommat.

On syytä olla huolestunut koulu­jemme huononev­as­ta tilas­ta, kos­ka siitä on tul­lut muitakin viit­teitä, eri­tyis­es­ti sosi­aalilu­okkien ja koulu­jen välis­ten ero­jen kasvusta.

Olen pitkään ennus­tanut Pisa-men­estyk­sen kään­tymistä lasku­un, kos­ka olen uskonut, että merkit­tävä syy Suomen hyvään men­estyk­seen on se, että meil­lä melkein kaik­ki oppi­laat tule­vat vähin­tään tyy­dyt­tävistä koti­oloista. Tämä etu on meil­lä katoa­mas­sa. On yhä enem­män lap­sia, joiden koti­taus­taa ei voi kut­sua tyy­dyt­täväk­si. Eikä meil­lä ole ennen ollut mui­ta selvästi huonom­pia koulu­ja, mut­ta nyt alkaa olla.

Mut­ta ennen täy­del­liseen epä­toivoon vaipumista kan­nat­taa selvit­tää, olisiko heiken­nei­den Pisa-tulosten taustal­la myös näyt­teen val­in­tata­van muu­tos. Sain sähkö­pos­tivi­estin, jos­sa kysyt­ti­in mielipi­det­täni asi­as­ta tilas­toti­eteil­i­jänä ja huo­mautet­ti­in siitä, että tämänker­tainen näyte on valit­tu eri taval­la kuin edelli­nen. Näyt­teen, kos­ka vaik­ka sen yhtey­dessä puhutaan otok­ses­ta, tätä ei oikein voi kut­sua otokseksi.

Näyt­teeseen nimit­täin valit­ti­in kaik­ki koulut, jois­sa on vähin­tään viisi maa­han­muut­ta­jaa ja näi­den koulu­jen oppi­laista valit­ti­in kaik­ki maa­han­muut­ta­jat. Tämä ilmeis­es­ti sik­si, että halut­ti­in tutkia eri­tyis­es­ti sitä, miten maa­han­muut­ta­jat ovat kouluis­saan men­estyneet. Tätä tietoa todel­la tarvi­taan ja sik­si maa­han­muut­ta­jien tarkem­pi tutkimi­nen oli paikallaan. On hyvä tietää, miten maa­han­muut­ta­jat men­estyvät suh­teessa kan­taväestöön ja suh­teessa muiden maid­en maahanmuuttajiin.

Tämä takia maa­han­muut­ta­jia oli näyt­teessä selvästi yliedustet­tuna. Tämä ei tuo­ta ongel­maa lop­putu­lok­seen, kos­ka lop­putu­lok­sen on las­ket­tu palaut­taen maa­han­muut­ta­jien paino näyt­teessä todel­lista osu­ut­ta vas­taavak­si. Ongel­ma kos­kee sitä, miten koulu­jen val­in­ta vaikut­taa kan­ta­suo­ma­lais­ten jakau­maan. Tiedämme, että vaikka­pa Turun Varis­suol­la, jos­sa on paljon maa­han­muut­ta­jia, syn­type­r­äis­ten suo­ma­lais­ten sosi­aa­li­nen jakau­ma poikkeaa niistä Varsi­nais-Suomen kouluista, jois­sa maa­han­muut­ta­jia ei ole. Sähkö­pos­tivi­estin lähet­täjä kysyi aivan oikein,  onko näyte syn­type­r­äis­ten suo­ma­lais­ten kohdal­la tasapainossa.

Teo­ri­as­sa tämäkin otan­ta­virhe on mah­dol­lista oikaista tas­apain­ot­ta­mal­la koti­taus­ta, mut­ta käytän­nössä ei ole. Vaik­ka koti­taus­taa on yritet­ty täl­lä ker­taa selvit­tää monipuolis­es­ti (on kysyt­ty mm. kuin­ka mon­ta kir­jaa kotona on!) vakioin­ti pois­taa aina vain osan vakioitavas­ta ilmiöstä, kos­ka sitä ei pystytä kun­nol­la mit­taa­maan eikä saa mita­ta. Tässä tapauk­ses­sa mitat­ti­in posi­ti­ivisia asioi­ta ja niiden puutet­ta, mut­ta ei mitat­tu per­heen syr­jäy­tyneisyyt­tä. Oppi­laiden koti­oloista kerät­tyjä tieto­ja voidaan käyt­tää sen selvit­tämiseen, paljonko koti­olot vaikut­ta­vat koulumen­estyk­seen, mut­ta ei vakioin­ti­in, kos­ka vas­taavia tieto­ja ei ole koko väestöstä.

Tieto­suo­ja var­maankin estää julkaise­mas­ta Pisa-mate­ri­aalia avoime­na datana. Har­mi, sil­lä olisi hyvä, että mah­dol­lisim­man moni voisi tes­ta­ta tulok­sia ja ana­lyysiä. Tämä pitää kuitenkin analysoi­da kun­nol­la. Ris­ti­in­taulukoin­nit eivät siihen riitä. [KORJAUS: TIEDOT ON JULKAISTU AVOIMENA DATANA]

 

 

LAINAUS TUTKIMKUSSELOSTUKSESTA:

“PISAn kohde­joukon muo­dosta­vat mit­tausvuon­na 15 vuot­ta täyt­tävät oppi­laat (Suomes­sa helmiku­un 1996 ja tam­miku­un 1997 välil­lä syn­tyneet). Suomes­sa tämän ikälu­okan koko PISA 2012 ‑tutkimuk­ses­sa oli 62 195. Kohde­joukos­ta tuli otan­taa varten tavoit­taa vähin­tään 95 prosenttia.

Suomes­sa koulut valit­ti­in perusk­ouluista sekä lukioista ja ammatil­li­sista oppi­laitok­sista. Jälkim­mäi­sis­sä opiske­li alle 1 pros­ent­ti ikälu­okas­ta. Kaik­ki ruotsinkieliset koulut valit­ti­in mukaan, samoin kaik­ki sel­l­aiset koulut, jois­sa oli vähin­tään viisi maa­han­muut­ta­jataus­taista oppi­las­ta. Myös eri­tyisk­oulut sisäl­tyivät otan­ta­an. Kus­takin oto­sk­oulus­ta tutkimuk­seen valit­ti­in sat­un­nais­es­ti joko 20 tai 35 PISAn ikäkri­teerin täyt­tävää oppi­las­ta. Mikäli näitä oppi­lai­ta oli vähem­män, mukaan otet­ti­in kaik­ki oppi­laat. Lisäk­si oto­sk­ouluis­sa kaik­ki maa­han­muut­ta­jataus­taiset oppi­laat osal­lis­tu­i­v­at tutkimuk­seen. Otan­nan toteut­ti riip­puma­ton kan­sain­vä­li­nen tilas­to­laitos Westat.

PISA 2012 ‑mit­taus toteutet­ti­in 311 koulus­sa, joista testi­in valit­ti­in kaikki­aan 10 157 oppi­las­ta. Näistä 82,2 pros­ent­tia oli 9.-luokkalaisia, 17,6 pros­ent­tia 8.-luokkalaisia ja 2,0 pros­ent­tia 7.-luokkalaisia. Luki­o­laisia ja ammat­tik­oul­u­laisia oli 0,1 prosenttia.

Ruotsinkielisiä oppi­lai­ta otok­ses­sa oli 1 753 ja maa­han­muut­ta­jataus­taisia oppi­lai­ta 2 426. Näi­den ryh­mien ylioto­s­ta hyö­dyn­netään monipuolis­es­ti kansal­li­sis­sa eri­ty­is­tarkasteluis­sa. Tutkimuk­sen kokon­ais­tu­lok­seen ryh­mien ylioto­st­a­mi­nen ei vaiku­ta, sil­lä kan­sain­väli­sis­sä ver­tailuis­sa ryh­mien pain­oar­vot palaute­taan tilas­tol­lisin keinoin vas­taa­maan niiden todel­lisia osuuk­sia perusjoukossa.”

Pisa-tutkimuk­sen alus­tavi­in tulok­si­in pääsee tästä.