Lueskelin Suomen Pisa-tuloksia vuosilta 2012 ja 2015 selvittääkseni, miten niissä näkyy Itä-Suomen poikien väitetty syrjäytyminen. Niistä joskus myöhemmin. Törmäsin nimittäin muutokseen, jota en voinut uskoa todeksi.
Vuonna 2012 selvästi osaavimmat oppilaat löytyivät Pohjois-Suomesta. Erityisesti Pohjois-Suomen tytöt loistivat kaikkia muita paremmalla osaamisellaan joka alalla.
Vuonna 2015 ylivoimasesti parhaat oppilaat (keskimäärin) löytyivätkin pääkaupunkiseudulta. Jäin ihmettelemään, mitä pääkaupunkiseudulla on tehty niin paljon paremmin, että tulokset ovat parantuneet aivan olennaisesti kolmessa vudessa. Koulujen positiivinen diskriminointi, jota VATT:n tutkimuksessa ylistettiin tulokselliseksi?
Sitten muistin. Paremmin on tehty Pisa-tutkimuksen otanta. Olinhan itse kirjoittanut vuoden 2012 otantavirheestä blogillani.
Vuonna 2012 oli haluttu tutkia erityisesti maahanmuuttajien osaamista. Siksi näytteeseen oli otettu kaikki koulut, joissa oli vähintään viisi maahanmuuttajaa. Loput koulut oli valittu satunnaisotannalla. Otos oli ”korjattu” painottamalla maahanmuuttajat oikean kokoiseksi ryhmäksi kuvitellen, että tämä olisi hyvä näin. Kun annetaan maahanmuuttajalähiöiden kouluille yliedustus, saadaan vääristynyt näyte myös syntyperäisistä suomalaisista. Olisi pitänyt painottamalla vähentää myös maahanmuuttajakoulujen yliedustusta syntyperäisten suomalaisten keskuudessa. Nyt kun otos on tehty oikein, osaaminen pääkaupunkiseudulla on parantunut aivan olennaisesti.
Tutkimuksessa kerrotaan helpottuneena, että koululaisten matematiikan osaamisen heikentyminen on taittunut. Onkohan? Jos nuo vuoden 2012 tiedot oikaistaan, saamme ehkä aivan erilaisen trendin, koska nyt vertaamme vuoden 2015 tuloksia liian huonoon tulokseen vuodelta 2012.
Mutta sitten toinen kummallisuus. Miksi vuoden Pisa-tutkimuksessa loistaneet pohjois-suomalaiset ovat nyt muuttuneet ihan taviksiksi? Minun on vaikea uskoa näin suureen muutokseen kolmessa vuodessa. Olisiko vuoden 2012 otantavirhe vaikuttanut Pohjois-Suomessa toisin päin tuomalla näytteeseen liikaa oululaisia?
Vuoden 2012 tulokset pitäisi ajaa uudestaan korjaamalla maahanmuuttajakoulujen yliedustus. Ei ole vaikeata.
En täysin ymmärrä, miksi tässä pitää käyttää mitään otoksia muutenkaan. Miksei PISA-koetta järjestetä kaikissa kouluissa? Näin syntyvää valtavaa raaka-dataa voivat sitten tilastonikkarit leikkailla haluamillaan tavoilla, mutta samalla varmistetaan, että jos tulevaisuudessa huomataan, että joku leikkaus olikin väärin tehty, niin kaikki voidaan korjata, koska kaikki data on tallessa. Iso data mahdollistaa myös myöhemmin sellaisten asioiden tutkimisen, mitä ei kokeen tekohetkellä tullut tutkijoille mieleen.
Pisahan on kokonaisuudessaan ongelmallinen. Siinä käytännössä, hieman kärjistäen, mitataan kuinka paljon on toivottomia tapauksia. Eli satsaamalla heikkoihin niin, että he ylittävät riman, saadaan hyvä Pisa-tulos. Yhteiskunnallisesti heikoin aines ei kuitenkaan ole merkittävä. Pitäisi mitata, paljonko järjestelmä tuottaa hyvää ainesta, jotka ovat todellisuudessa se veturi. Me muut taas olemme siinä keskellä.
Kalle. Oletko lainkaan tutustunut Pisa-tutkimukseen? Kyllä siinä mitataan myös huippuja.
Missä kohdassa? Ainakin matematiikan testissä lähes kaikki julkisuudessa näkemäni kysymykset ovat sitä tasoa, että hyvä neljäsluokkalainen osaa ratkaista ne. Testi ehkä mittaisikin huippuja, jos se tehtäisiin neljäs- eikä yhdeksäsluokkalaisille.
Näitkö kaikki kysymyksety vbai vain kaikki julkisuudessa olleet kysymykset? Jos väitteesi pitäisi pakkkansa, täydebnpisteen suorittajia olisi9 paljon, vaan ei ole, ei missään maassa.
Olen nähnyt useaan eri otteeseen esimerkkejä kysymyksistä tiedotusvälineissä sekä lisäksi joskus vajaat 15 vuotta sitten käynyt läpi Jyväskylän yliopiston (tutkimuksen koordinoija Suomessa) sivuilla julkaistut matematiikan kysymykset. Tiedän, että ihan kaikkia kysymyksiä ei julkaista, koska osin samoja kysymyksiä halutaan käyttää eri testivuosina. Olisi kuitenkin kummallista, jos nämä salatut kysymykset olisivat tasoltaan selvästi vaikeampia kuin esim. JY:n sivulla julkaistut kysymykset. Sehän antaisi täysin väärän kuvan koko testin luonteesta ja vaikeustasosta.
Niin, ja silloin vajaat 15 vuotta sitten testasin julkaistuja kysymyksiä 4.-luokkalaisella tytöllä.
PISA ei sisällä kysymyksiä, jotka pistäisivät matemaattisesti lahjakkaan oppilaan lujille, mutta koska tulokset noudattavat suunnilleen normaalijakaumaa, niin väite siitä, että se mittaisi vain heikkojen oppilaiden määrää, ei pidä paikkaansa.
Suomi on perinteisesti menestynyt juuri siksi, että järjestelmämme tuottaa kohtuullisen korkeaa keskiarvoa ja pientä hajontaa eli juuri niin kuin sanoit, pitämällä pudokkaiden määrä minimissä, saadaan hyvä Pisa-tulos. Suomen tapauksessa tähän tulokseen vaikuttanee merkittävästi mm. se, että TV-tarjonta tekstitetään, jolloin koko kansa hankkii vähintään auttavan lukunopeuden ja ‑taidon. Kaikkien pitäminen mukana voi olla sosiaalipoliittisesti tärkeä saavutus, mutta samalla, kun lahjakkaille ei tarjota eriytettyjä opintoja, uhrataan yhteiskunnan kovin potentiaali ja uudistumisvoima.
Kyllä ja ei. Todelliset huiput eivät tarvitse kouluja, vaan menevät niistä ohi omatoimisesti, jos ovat motivoituneita — ja jos eivät ole, mikään opetus ei auta. Mutta varmasti on keskimääräistä lahjakkaampia ihmisiä, jotka heille paremmin räätälöidyllä opetuksella pääsisivät pidemmälle. Sitten voidaan alkaa arvioida, minkä osaamisalan edustajiin on kannattavinta panostaa ja miten saadaan paras hyöty-panossuhde. Harmillista vain, maailma muuttuu niin nopeasti, että on vaikea ennustaa, minkä alan osaajia tulevaisuudessa tarvitaan… Ehkä ei pidä optimoida liikaa. Siitä pitäisi silti pitää huolta, että kaikki saavat oppia omaan tahtiinsa — niin hitaammat kuin nopeammat. Uskon, että tämä on toteutettavissa yhdessä koulussa, kunhan opettajia on tarpeeksi.
Homman nimihän oli siis edellisessä tutkimuksessa näköjään kaksivaiheinen ryväsotanta. Kouluista poimittiin ryvästetyt otokset kahdesta ositteesta, jotka on määritelty maahanmuuttajataustaisten oppilaiden määrän suhteen. Tuosta ei tosiaan niin kuin Ode sanot ole vaikeaa laskea asetelmakorjattuja estimaatteja (SAS surveyfreq tai SPSS Complex samples, mitä nyt käyttävätkin tilastosoftana) kun vaan koulukohtainen ryvästys osataan huomioida. Onko tosiaan niin että tilasto-osaaminen on ollut näin puutteellista? Senhän pitäisi olla aivan peruskurssiasiaa, ettei noita voi satunnaisotoksina käsitellä.
Kaikki PISA-konsortion ja Suomen PISA-tiimin laskemat ja julkaisemat tulokset ovat asetelmakorjattuja. Sen sijaan tiedän, että on olemassa muiden tahojen tekemiä selvityksiä ja raportteja, joissa näin ei ole välttämättä tehty.
Miten siis selität sen, että kolmessa vuodessa pääkaupunkiseudun oppilaat ovat vetäneet huiman kaulan muuhun maahan verrattuna, jos tuo otosharha ei selittänytkään vuoden 2012 keskiarvoja?
Mikä alue on Itä-Suomi? Onko se vanhan itä-suomen läänin alue?
“Kyllä siinä mitataan myös huippuja.”
Odotetaan että kaikkien ihmisten pitäisi olla huippuja, mutta todellisuudessa huippuja on hyvin vähän. Kilpailuyhteiskunnassa luodaan odotukset lapsille aivan liian varhaisessa vaiheessa ja vielä ympäröivän maailman epärealistisin odotuksin.
Yliopistomaailmassa mielellään leimataan ja leimaudutaan oma-aloitteisesti huippututkijoiksi ja huippuyksiköiksi. Todellisuudessa suuressa osassa ihmisiä ei ole yhtäkään huipun piirrettä, on vain tavallisia ja älykyystesteissä normaalin rajoissa olevia ihmisiä.
Minua kyllä riepoo myös yliopistomaailmassa tämä huippu-sitä ja huippu-tätä-hype. Mitäs niille ihan tavallisille tutkijoille sitten tehdään? Niitähän on joko suurin osa, tai sitten ”huippu”-määrite on tyhjänpäiväinen.
Suuri osa yliopiston käyneistä työllistyy valtion virkoihin ja kuntien työpaikkoihin. Se on aika lähellä yliopiston alkuperäistä tehtävää tuottaa “kruunulle” virkamiehiä. Oikeita töitä tekevät yksityisektorilla olevat eikä siellä tarvita diplomia vaan osaamista.
Ei niillä tehdä mitään, kuten ei monilla tutkijoilla yleisestikkään. Seurasin kerran esitelmää eräästä projektista jossa oli kehitetty miniatyrisoitu laite jolle löytyisi ainakin oman arvion mukaan merkittäviä markkinoita. Kukaan tutkimusryhmäläisistä ei kuitenkaan halunnut lähteä yritystä perustamaan vaan he vain etsivät kaupallista yhteistyökumppania. En seurannut asiaa jälkeenpäin, mutta veikkaan että tutkimustyö vain myytiin jollekin suurelle (ei-suomalaiselle) laitevalmistajalle.
Osa yliopistojen rahoituksesta on kaiken lisäksi lähes suoraa tukea monille suomalaisille ja jopa ulkomaalaisille yrityksille koska tutkimusprojekteja tehdään yhteistyössä. Päällisin puolin tämä kuulostaa hyvältä, mutta jos yritys kaupallistaa tuotteen muualla eikä tulouta voittojaan Suomessa niin eihän tästä mitään todellista hyötyä ole Suomelle, ellei sitten halua laskea jonkun euroopan tasolla räikeästi alipalkatun tutkijan palkasta maksettuja veroja nettovoitoksi.
Ulkomaiset asiaa ja kuviota tuntevat pitävät meitä todennäköisesti aikamoisina hölmöläisinä.
Täällä kyllä osataan tehdä kehittää ja tehdä asioita, mutta uskallus puuttuu näiden tuotteistamiseen ja kaupallistamiseen.
Olen toiminut tilastotieteilijänä Suomen PISA-tiimissä vuodesta 2010, joskaan en vastaa otannasta. Voin kertoa, että olemme kissojen ja koirien sekä kansainvälisessä PISA-konsortiossa otanta-asiantuntemuksesta vastaavan yhdysvaltalaisen Westat-tutkimuslaitoksen kanssa etsineet selitystä vuoden 2012 notkahdukselle ja vuoden 2015 ”palautumiselle” (joka näkyi selvimmin pääkaupunkiseudulla). Osmo Soininvaaran esittämä teoria maahanmuuttajakoulujen vääristyneestä edustuksesta on hyvä ja perustellun tuntuinen, mutta selvityksistämme ei ole löytynyt tukea sille.
PISA-otanta on kaksivaiheinen (kouluotanta ja oppilasotanta), ja kummankin vaiheen yliedustukset korjataan tulosten laskennassa asetelmapainoin (kommentoijalle ”Juhani” tiedoksi, että kaikki PISA-tulokset lasketaan asetelmakorjatusti; useimmiten asetelmaperusteisin Jackknife-tyyppisin menetelmin, mutta myös malliperusteisia menetelmiä ovat käytössä). Nämä painot laskee Westat toimittamistamme otantakehikkotiedoista. PISA-koulut poimitaan ositetulla PPS-otannalla, eli suurimmilla kouluilla on suurin todennäköisyys tulla otokseen. Ositteet ovat pääsääntöisesti maantieteellisiä, mutta vuoden 2012 otannassa maahanmuuttajien takia alueositteiden sisällä oli lisäksi ositus koulun (arvioitujen) maahanmuuttajamäärien perusteella: (1) ei maahanmuuttajaoppilaita, (2) vähän maahanmuuttajaoppilaita, (3) paljon maahanmuuttajaoppilaita (en muista tässä tarkkoja rajoja, paljonko oli paljon). Tämän lisäosituksen avulla maahanmuuttajamääriltään erilaisten koulujen (ja siinä sivussa — sattuneesta syystä — myös sosioekonomialtaan eritasoisten koulujen) osuudet eri alueilla pyrittiin korjaamaan populaation tilannetta vastaaviksi. Epäonnistuiko tämä korjaus sitten, ja minkä vuoksi? Sitä emme tiedä. Joka tapauksessa minä en tiedä, miten vuoden 2012 tulokset pitäisi ajaa uusiksi korjaamalla yliedustukset, koska ne oli jo korjattu. Vai oliko ne väärin korjattu? Onko minulla nyt jokin perustavanlaatuinen sokea täplä jossain?
Yksi potentiaalinen selitys mahdolliselle epäonnistumiselle on otantakehikko-ongelma: ei ole olemassa rekistereitä, joista näkisi 100%-luotettavasti etukäteen, kuka koulun oppilas on maahanmuuttajataustainen ja kuka ei. On osoittautunut, että koulun opettajatkaan eivät sitä välttämättä tiedä! Suomi toisena kielenä ‑oppilasmääristä saa jotain vinkkiä, mutta siinäkin on ongelmia. Lopullisessa datassa jouduimme käyttämään oppilaan omaa vastausta siihen, missä maassa hän ja hänen vanhempansa ovat syntyneet. Mittausvirhettä on tullut varmasti. Westatin arvion mukaan vuoden 2012 notkahdusta ei voi kuitenkaan selittää tällä.
Lopullista totuutta meillä ei ole, mutta asiaa pohditaan jatkuvasti, semminkin kun vastaavalle maahanmuuttajaotannalle on tarvetta tulevaisuudessakin. Otantakehikon rakentaminen maahanmuuttajaotannalle on todellinen ongelma.
Oma mielipiteeni on sikäli toinen kuin Osmo Soininvaaran, että vuoden 2015 otantaa ei ole tehty paremmin kuin vuoden 2012 otanta. Vuoden 2015 otanta oli ”tavalliseen tapaan” ositettu PISA-otanta, mikä etenkin pääkaupunkiseudun osalta tuotti merkittävästi suppeamman aineiston. Koska vuonna 2012 kerättiin aineistoon maahanmuuttajaoppilaita, otanta painottui suuriin kaupunkeihin, joissa maahanmuuttajat asuvat (ja tämä otanta korjattiin siis laskennassa asetelmapainoin). Seuraus oli, että vuoden 2012 PISA-aineistossa oli esimerkiksi 47 koulua Helsingistä, eli Helsinki ja suuret kaupungit haravoitiin todella tarkasti. Vuoden 2015 otoksessa Helsingistä oli vain 11 PISA-koulua. Olemme havainneet, että nämä koulut olivat vuoden 2012 aineistossa pääsääntöisesti ”menestyjäkouluja”, kun taas vuoden 2012 heikoimmista helsinkiläiskouluista ei yksikään osunut PISA 2015 ‑otokseen. Tämä näkyy kyllä tulosten (asetelmaperusteisissa) keskivirheissä: helsinkiläiskoulujen tulosparannus ei ollut tilastollisesti merkitsevä.
Sitä, mitä tapahtui Itä- ja Pohjois-Suomen otoksissa (toisin sanoen sitä, miten v. 2015 otoskoulut suhtautuvat v. 2012 otoskouluihin — osa on varmastikin samoja, joskin Itä- ja Pohjois-Suomesta tulevien koulujen määrät ovat todella pieniä verrattuna Etelä-Suomeen), en ole samalla tavalla selvittänyt, mutta se pitää tehdä heti kun aika sallii. Kysymys on tärkeä, ja pyrin palaamaan siihen lähitulevaisuudessa.
En pysty nyt tarkistamaan, miten vuoden 2012 alueelliset PISA-tulokset menivät, mutta muistaakseni Suomen suuralueiden välillä ei kuitenkaan ollut tilastollisesti merkitseviä eroja (ainakaan kun tytöt ja pojat tarkastellaan yhdessä). Vuonna 2015 pääkaupunkiseudun paremmuus sen sijaan oli merkitsevä, ensimmäistä kertaa kaikkien PISA-tutkimusten historiassa. Myös tulosten yhteys oppilaan sosioekonomiseen taustaan oli voimakkaampi kuin koskaan aikaisemmin Suomessa, mikä mielestäni selittää aika tavalla pääkaupunkiseudun hyviä tuloksia. Yhteys löytyy sekä oppilas‑, koulu- että aluetasolla, joten mistään ekologisesta virhepäätelmästä ei näyttäisi olevan kyse.
Kari Nissinen.
Kun teillä oli vuoden 2012 otannassa yliedustus maahanmuuttajakouluilla, vähensittekö näiden koulujen painon siis oikeaksi muyös kantasuomnalaisten osalta. Olen lukenut selostuksen, jonka mukaan vain maahanmuuttajien määrä oikaistiin oikeaksi. Jos koko kouluryhmän paino oikaistiin oikeaksi, on tehty oikein ja perun moitteeni.
Sen jälkeen moite kohdistuu kouluotoksen pieneen kokoon. Kun otoksessa on vain helsinkiläistä 11 koulua, voi tulosten parantuminen johtua pelkästä satunnaisvirheestä.
Kyllä. Koko kouluryhmän paino oikaistiin, tai ainakin pyrittiin oikaisemaan käytettävissä olleiden kehikkotietojen perusteella oikeaksi. Tämä on rutiinia kaikissa Pisa-tutkimuksissa. Lukemasi selostus maahanmuuttajamäärän oikaisusta on ilmeisen ylimalkainen, pahoittelut siitä. Se lienee peräisin ensiraportista, jossa on tiettyjä paineita kirjoittaa verraten populaaristi. Kuten aiemmin kirjoitin, vuoden 2012 havaittu tulosnotkahdus on ainakin eräillä alueilla edelleen mysteeri. Itse näen, että pääkaupunkiseudun muutos on olennaisesti satunnaisvaihtelua. Olen myös taipuvainen arvioimaan, että Pisa 2012 antoi suurimpien kaupunkien kohdalla luotettavamman tuloksen kuin tuoreempi Pisa. Maahanmuuttajaotannan ansiosta sen kiintiöinti oli tavallaan optimaalisempi kuin maantieteellisen normiosituksen kiintiöinti: otanta kohdistui paremmin niille alueille, joissa heterogeenisuus on suurinta.
Mielenkiintoista. Vuonna 2015 pääpaino oli luonnontieteissä, joissa Suomen koulujen tulos heikkeni 32 pisteellä (531 pisteeseen) vuoteen 2006 verrattuna. Työhypoteesi siis on, että vuoden 2015 tulokset olivat liian hyviä ollakseen edustavia, pudotusta lienee siis ollut vieläkin enemmän?
Ovatko muuten PISA-aineistot avoimen datan hengen mukaisesti kaikkien saatavilla (anonymisoituina toki)?
Valtakunnallisesti pidän PISA 2015 ‑dataa kuten kaikkia muitakin PISA-datoja edustavina. Mielenkiintoista sen sijaan on, että jopa Helsinki on survey-mielessä “pienalue”: kouluotokset voivat olla alueellisen edustavuuden kannalta liian pieniä. Henkilökohtainen kantani on, että tulevaisuudessa Helsinki (tai pääkaupunkiseutu tarkoituksenmukaisesti määriteltynä) tulisi erottaa muusta Uudestamaasta omaksi ositteekseen. Nykyinen ositus perustuu eurooppalaiseen NUTS-aluejakoon, jossa Helsinki on osa muuta Uuttamaata.
Vuosi 2006 oli Suomen PISA-historian huippuvuosi. Ulkomuistini mukaan Suomen silloinen tulostaso pärjäisi hyvin nykyisillekin PISA-menestyjille kuten Singaporelle tai joillekin Kiinan alueille (jotka eivät vielä tuohon aikaan olleet mukana).
Ns. Public Use ‑PISA-datat ovat ladattavissa OECD:n PISA-sivuilta, anonymisoituna toki. Myös koulut ovat anonymisoidut avoimissa datoissa.
Onko julkisesti saatavilla tietoa siitä, mitkä koulut olivat mukana otannassa 2012 ja 2015? Pääkaupunkiseudulla on joitakin kouluja, joissa oppilasjoukko on hyvin valikoitunutta, enkä nyt tarkoita pelkästään SYKkiä. Jos otannassa on mukana liian vähän kouluja, voi tuloksiin vaikuttaa liikaa se, ovatko tällaisen valikoituneen oppilasjoukon koulut sattuneet mukaan vai ei.
Kun omat lapseni kävivät muutama vuosi sitten (nykyisestä tilanteesta en tiedä) Espoossa Nöykkiön koulua, oppilaista ainakin kaksi kolmasosaa oli joko matematiikkaluokalla (jonne otettiin pääsykokeilla alle puolet halukkaista) tai luki pitkän englannin lisäksi joko A‑saksaa tai A‑ranskaa. Samaan aikaan Olarin koulussa kaikki oppilaat olivat joko matematiikkaluokalla (jonne oli vielä vaikeampi päästä kuin Nöykkiön koulun matematiikkaluokalle) tai lukivat pitkän englannin lisäksi A‑ranskaa. Jos nyt sattui, että Nöykkiö ja Olari eivät olleet vuoden 2012 otannassa, mutta olivat molemmat vuoden 2015 otannassa, niin pelkästään tällä saattoi olla vaikutuksia pääkaupunkiseudun tuloksiin.
Se, mitkä koulut ovat olleet mukana missäkin otoksessa, ei lähtökohtaisesti ole julkista tietoa. Koulu voi tosin halutessaan antaa tietoja omien oppilaidensa (keskimääräisestä) PISA-menestyksestä julkisuuteen, ja näin on joskus tapahtunutkin.