Pisa-tutkimus ja vuoden 2012 otanta

Lueske­lin Suomen Pisa-tulok­sia vuosil­ta 2012 ja 2015 selvit­tääk­seni, miten niis­sä näkyy Itä-Suomen poikien väitet­ty syr­jäy­tymi­nen. Niistä joskus myöhem­min. Tör­mäsin nimit­täin muu­tok­seen, jota en voin­ut uskoa todeksi.

Vuon­na 2012 selvästi osaav­im­mat oppi­laat löy­tyivät Pohjois-Suomes­ta. Eri­tyis­es­ti Pohjois-Suomen tytöt lois­ti­vat kaikkia mui­ta parem­mal­la osaamisel­laan joka alalla.

Vuon­na 2015 ylivoimases­ti parhaat oppi­laat (keskimäärin) löy­tyivätkin pääkaupunkiseudul­ta. Jäin ihmettelemään, mitä pääkaupunkiseudul­la on tehty niin paljon parem­min, että tulok­set ovat paran­tuneet aivan olen­nais­es­ti kolmes­sa vudessa. Koulu­jen posi­ti­ivi­nen diskrim­i­noin­ti, jota VATT:n tutkimuk­ses­sa ylis­tet­ti­in tulokselliseksi?

Sit­ten muistin. Parem­min on tehty Pisa-tutkimuk­sen otan­ta. Olin­han itse kir­joit­tanut vuo­den 2012 otan­ta­virheestä blogillani.

Vuon­na 2012 oli halut­tu tutkia eri­tyis­es­ti maa­han­muut­ta­jien osaamista. Sik­si näyt­teeseen oli otet­tu kaik­ki koulut, jois­sa oli vähin­tään viisi maa­han­muut­ta­jaa. Lop­ut koulut oli valit­tu sat­un­naisotan­nal­la. Otos oli ”kor­jat­tu” pain­ot­ta­mal­la maa­han­muut­ta­jat oikean kokoisek­si ryh­mäk­si kuvitellen, että tämä olisi hyvä näin. Kun annetaan maa­han­muut­ta­jalähiöi­den kouluille yliedus­tus, saadaan vääristynyt näyte myös syn­type­r­äi­sistä suo­ma­lai­sista. Olisi pitänyt pain­ot­ta­mal­la vähen­tää myös maa­han­muut­ta­jak­oulu­jen yliedus­tus­ta syn­type­r­äis­ten suo­ma­lais­ten kesku­udessa. Nyt kun otos on tehty oikein, osaami­nen pääkaupunkiseudul­la on paran­tunut aivan olennaisesti.

Tutkimuk­ses­sa ker­ro­taan helpot­tuneena, että koul­u­lais­ten matem­ati­ikan osaamisen heiken­tymi­nen on tait­tunut. Onko­han? Jos nuo vuo­den 2012 tiedot oikaistaan, saamme ehkä aivan eri­laisen trendin, kos­ka nyt ver­taamme vuo­den 2015 tulok­sia liian huonoon tulok­seen vuodelta 2012.

Mut­ta sit­ten toinen kum­mallisu­us. Mik­si vuo­den Pisa-tutkimuk­ses­sa lois­ta­neet pohjois-suo­ma­laiset ovat nyt muut­tuneet ihan taviksik­si? Min­un on vaikea uskoa näin suureen muu­tok­seen kolmes­sa vuodessa. Olisiko vuo­den 2012 otan­ta­virhe vaikut­tanut Pohjois-Suomes­sa toisin päin tuo­ma­l­la näyt­teeseen liikaa oululaisia?

Vuo­den 2012 tulok­set pitäisi ajaa uud­estaan kor­jaa­mal­la maa­han­muut­ta­jak­oulu­jen yliedus­tus. Ei ole vaikeata.

24 vastausta artikkeliin “Pisa-tutkimus ja vuoden 2012 otanta”

  1. En täysin ymmär­rä, mik­si tässä pitää käyt­tää mitään otok­sia muutenkaan. Mik­sei PISA-koet­ta jär­jestetä kaikissa kouluis­sa? Näin syn­tyvää val­tavaa raa­ka-dataa voivat sit­ten tilas­tonikkar­it leikkail­la halu­amil­laan tavoil­la, mut­ta samal­la varmis­te­taan, että jos tule­vaisu­udessa huo­mataan, että joku leikkaus olikin väärin tehty, niin kaik­ki voidaan kor­ja­ta, kos­ka kaik­ki data on tal­lessa. Iso data mah­dol­lis­taa myös myöhem­min sel­l­ais­ten asioiden tutkimisen, mitä ei kokeen teko­hetkel­lä tul­lut tutk­i­joille mieleen.

  2. Pisa­han on kokon­aisu­udessaan ongel­malli­nen. Siinä käytän­nössä, hie­man kär­jistäen, mitataan kuin­ka paljon on toiv­ot­to­mia tapauk­sia. Eli sat­saa­mal­la heikkoi­hin niin, että he ylit­tävät riman, saadaan hyvä Pisa-tulos. Yhteiskun­nal­lis­es­ti heikoin aines ei kuitenkaan ole merkit­tävä. Pitäisi mita­ta, paljonko jär­jestelmä tuot­taa hyvää aines­ta, jot­ka ovat todel­lisu­udessa se veturi. Me muut taas olemme siinä keskellä.

      1. Osmo Soin­in­vaara:
        Kalle. Oletko lainkaan tutus­tunut Pisa-tutkimuk­seen? Kyl­lä siinä mitataan myös huippuja.

        Mis­sä kohdas­sa? Ainakin matem­ati­ikan testis­sä läh­es kaik­ki julk­isu­udessa näkemäni kysymyk­set ovat sitä tasoa, että hyvä neljäs­lu­okkalainen osaa ratkaista ne. Testi ehkä mit­taisikin huip­pu­ja, jos se tehtäisi­in neljäs- eikä yhdeksäsluokkalaisille.

      2. Näitkö kaik­ki kysymyk­se­ty vbai vain kaik­ki julk­isu­udessa olleet kysymyk­set? Jos väit­teesi pitäisi pakkkansa, täy­deb­n­pis­teen suorit­ta­jia olisi9 paljon, vaan ei ole, ei mis­sään maassa.

      3. Osmo Soin­in­vaara:
        Näitkö kaik­ki kysymyk­se­ty vbai vain kaik­ki julk­isu­udessa olleet kysymyk­set? Jos väit­teesi pitäisi pakkkansa, täy­deb­n­pis­teen suorit­ta­jia olisi9 paljon, vaan ei ole, ei mis­sään maassa.

        Olen näh­nyt use­aan eri otteeseen esimerkke­jä kysymyk­sistä tiedo­tusvä­lineis­sä sekä lisäk­si joskus vajaat 15 vuot­ta sit­ten käynyt läpi Jyväskylän yliopis­ton (tutkimuk­sen koordi­noi­ja Suomes­sa) sivuil­la julka­istut matem­ati­ikan kysymyk­set. Tiedän, että ihan kaikkia kysymyk­siä ei julka­ista, kos­ka osin samo­ja kysymyk­siä halu­taan käyt­tää eri tes­tivu­osi­na. Olisi kuitenkin kum­mallista, jos nämä salatut kysymyk­set oli­si­vat tasoltaan selvästi vaikeampia kuin esim. JY:n sivul­la julka­istut kysymyk­set. Sehän antaisi täysin väärän kuvan koko testin luon­teesta ja vaikeustasosta.

        Niin, ja sil­loin vajaat 15 vuot­ta sit­ten tes­tasin julka­istu­ja kysymyk­siä 4.-luokkalaisella tytöllä.

      4. PISA ei sisäl­lä kysymyk­siä, jot­ka pistäi­sivät matemaat­tis­es­ti lah­jakkaan oppi­laan lujille, mut­ta kos­ka tulok­set nou­dat­ta­vat suun­nilleen nor­maal­i­jakau­maa, niin väite siitä, että se mit­taisi vain heikko­jen oppi­laiden määrää, ei pidä paikkaansa.

    1. Kalle:
      Eli sat­saa­mal­la heikkoi­hin niin, että he ylit­tävät riman, saadaan hyvä Pisa-tulos.

      Suo­mi on per­in­teis­es­ti men­estynyt juuri sik­si, että jär­jestelmämme tuot­taa kohtu­ullisen korkeaa keskiar­voa ja pien­tä hajon­taa eli juuri niin kuin sanoit, pitämäl­lä pudokkaiden määrä min­imis­sä, saadaan hyvä Pisa-tulos. Suomen tapauk­ses­sa tähän tulok­seen vaikut­ta­nee merkit­tävästi mm. se, että TV-tar­jon­ta tek­stitetään, jol­loin koko kansa han­kkii vähin­tään aut­ta­van lukunopeu­den ja ‑taidon. Kaikkien pitämi­nen mukana voi olla sosi­aalipoli­it­tis­es­ti tärkeä saavu­tus, mut­ta samal­la, kun lah­jakkaille ei tar­jo­ta eriytet­tyjä opin­to­ja, uhrataan yhteiskun­nan kovin poten­ti­aali ja uudistumisvoima.

      1. Robin: Kaikkien pitämi­nen mukana voi olla sosi­aalipoli­it­tis­es­ti tärkeä saavu­tus, mut­ta samal­la, kun lah­jakkaille ei tar­jo­ta eriytet­tyjä opin­to­ja, uhrataan yhteiskun­nan kovin poten­ti­aali ja uudistumisvoima. 

        Kyl­lä ja ei. Todel­liset huiput eivät tarvitse koulu­ja, vaan menevät niistä ohi oma­toimis­es­ti, jos ovat motivoitunei­ta — ja jos eivät ole, mikään ope­tus ei auta. Mut­ta var­masti on keskimääräistä lah­jakkaampia ihmisiä, jot­ka heille parem­min räätälöidyl­lä opetuk­sel­la pää­si­sivät pidem­mälle. Sit­ten voidaan alkaa arvioi­da, minkä osaamisalan edus­ta­ji­in on kan­nat­tavin­ta panos­taa ja miten saadaan paras hyö­ty-panos­suhde. Harmil­lista vain, maail­ma muut­tuu niin nopeasti, että on vaikea ennus­taa, minkä alan osaa­jia tule­vaisu­udessa tarvi­taan… Ehkä ei pidä opti­moi­da liikaa. Siitä pitäisi silti pitää huol­ta, että kaik­ki saa­vat oppia omaan tahti­in­sa — niin hitaam­mat kuin nopeam­mat. Uskon, että tämä on toteutet­tavis­sa yhdessä koulus­sa, kun­han opet­ta­jia on tarpeeksi.

  3. Hom­man nim­i­hän oli siis edel­lisessä tutkimuk­ses­sa näköjään kak­si­vai­heinen ryvä­sotan­ta. Kouluista poimit­ti­in ryväste­tyt otok­set kahdes­ta osit­teesta, jot­ka on määritel­ty maa­han­muut­ta­jataus­tais­ten oppi­laiden määrän suh­teen. Tuos­ta ei tosi­aan niin kuin Ode san­ot ole vaikeaa laskea asetel­mako­r­jat­tu­ja esti­maat­te­ja (SAS sur­veyfreq tai SPSS Com­plex sam­ples, mitä nyt käyt­tävätkin tilas­tosof­t­ana) kun vaan kouluko­htainen ryvästys osa­taan huomioi­da. Onko tosi­aan niin että tilas­to-osaami­nen on ollut näin puut­teel­lista? Sen­hän pitäisi olla aivan peruskurssi­asi­aa, ettei noi­ta voi sat­un­naiso­toksi­na käsitellä.

    1. Kaik­ki PISA-kon­sor­tion ja Suomen PISA-tiimin laske­mat ja julkaise­mat tulok­set ovat asetel­mako­r­jat­tu­ja. Sen sijaan tiedän, että on ole­mas­sa muiden taho­jen tekemiä selvi­tyk­siä ja raport­te­ja, jois­sa näin ei ole vält­tämät­tä tehty.

      1. Kaik­ki PISA-kon­sor­tion ja Suomen PISA-tiimin laske­mat ja julkaise­mat tulok­set ovat asetel­mako­r­jat­tu­ja. Sen sijaan tiedän, että on ole­mas­sa muiden taho­jen tekemiä selvi­tyk­siä ja raport­te­ja, jois­sa näin ei ole vält­tämät­tä tehty.

        Miten siis selität sen, että kolmes­sa vuodessa pääkaupunkiseudun oppi­laat ovat vetäneet huiman kaulan muuhun maa­han ver­rat­tuna, jos tuo oto­sharha ei selit­tänytkään vuo­den 2012 keskiarvoja?

  4. Mikä alue on Itä-Suo­mi? Onko se van­han itä-suomen läänin alue?

  5. “Kyl­lä siinä mitataan myös huippuja.”

    Odote­taan että kaikkien ihmis­ten pitäisi olla huip­pu­ja, mut­ta todel­lisu­udessa huip­pu­ja on hyvin vähän. Kil­pailuy­hteiskun­nas­sa luo­daan odotuk­set lap­sille aivan liian varhaises­sa vai­heessa ja vielä ympäröivän maail­man epäre­al­is­tisin odotuksin. 

    Yliopis­tom­aail­mas­sa mielel­lään leimataan ja leimaudu­taan oma-aloit­teis­es­ti huip­pututk­i­joik­si ja huip­puyk­siköik­si. Todel­lisu­udessa suures­sa osas­sa ihmisiä ei ole yhtäkään huipun piir­ret­tä, on vain taval­lisia ja älykyys­testeis­sä nor­maalin rajois­sa ole­via ihmisiä.

    1. Min­ua kyl­lä riepoo myös yliopis­tom­aail­mas­sa tämä huip­pu-sitä ja huip­pu-tätä-hype. Mitäs niille ihan taval­lisille tutk­i­joille sit­ten tehdään? Niitähän on joko suurin osa, tai sit­ten ”huippu”-määrite on tyhjänpäiväinen.

      1. Sepe­teus:
        Min­ua kyl­lä riepoo myös yliopis­tom­aail­mas­sa tämä huip­pu-sitä ja huip­pu-tätä-hype. Mitäs niille ihan taval­lisille tutk­i­joille sit­ten tehdään? Niitähän on joko suurin osa, tai sit­ten ”huippu”-määrite on tyhjänpäiväinen.

        Suuri osa yliopis­ton käyneistä työl­listyy val­tion virkoi­hin ja kun­tien työ­paikkoi­hin. Se on aika lähel­lä yliopis­ton alku­peräistä tehtävää tuot­taa “kru­unulle” virkamiehiä. Oikei­ta töitä tekevät yksi­tyisek­to­ril­la ole­vat eikä siel­lä tarvi­ta diplo­mia vaan osaamista.

      2. Sepe­teus:
        Min­ua kyl­lä riepoo myös yliopis­tom­aail­mas­sa tämä huip­pu-sitä ja huip­pu-tätä-hype. Mitäs niille ihan taval­lisille tutk­i­joille sit­ten tehdään? Niitähän on joko suurin osa, tai sit­ten ”huippu”-määrite on tyhjänpäiväinen.

        Ei niil­lä tehdä mitään, kuten ei monil­la tutk­i­joil­la yleis­es­tikkään. Seurasin ker­ran esitelmää eräästä pro­jek­tista jos­sa oli kehitet­ty mini­atyrisoitu laite jolle löy­ty­isi ainakin oman arvion mukaan merkit­täviä markki­noi­ta. Kukaan tutkimus­ryh­mäläi­sistä ei kuitenkaan halun­nut lähteä yri­tys­tä perus­ta­maan vaan he vain etsivät kau­pal­lista yhteistyökump­pa­nia. En seu­ran­nut asi­aa jäl­keen­päin, mut­ta veikkaan että tutkimustyö vain myyti­in jollekin suurelle (ei-suo­ma­laiselle) laitevalmistajalle.
        Osa yliopis­to­jen rahoituk­ses­ta on kaiken lisäk­si läh­es suo­raa tukea monille suo­ma­laisille ja jopa ulko­maalaisille yri­tyk­sille kos­ka tutkimus­pro­jek­te­ja tehdään yhteistyössä. Pääl­lisin puolin tämä kuu­lostaa hyvältä, mut­ta jos yri­tys kau­pal­lis­taa tuot­teen muual­la eikä tulou­ta voit­to­jaan Suomes­sa niin eihän tästä mitään todel­lista hyö­tyä ole Suomelle, ellei sit­ten halua laskea jonkun euroopan tasol­la räikeästi ali­palkatun tutk­i­jan palka­s­ta mak­set­tu­ja vero­ja nettovoitoksi.
        Ulko­maiset asi­aa ja kuvio­ta tun­te­vat pitävät meitä toden­näköis­es­ti aikamoisi­na hölmöläisinä.

        Tääl­lä kyl­lä osa­taan tehdä kehit­tää ja tehdä asioi­ta, mut­ta uskallus puut­tuu näi­den tuot­teis­tamiseen ja kaupallistamiseen.

  6. Olen toimin­ut tilas­toti­eteil­i­jänä Suomen PISA-tiimis­sä vuodes­ta 2010, joskaan en vas­taa otan­nas­ta. Voin ker­toa, että olemme kisso­jen ja koirien sekä kan­sain­välisessä PISA-kon­sor­tios­sa otan­ta-asiantun­te­muk­ses­ta vas­taa­van yhdys­val­ta­laisen Wes­t­at-tutkimus­laitok­sen kanssa etsi­neet seli­tys­tä vuo­den 2012 notkah­duk­selle ja vuo­den 2015 ”palau­tu­miselle” (joka näkyi selvim­min pääkaupunkiseudul­la). Osmo Soin­in­vaaran esit­tämä teo­ria maa­han­muut­ta­jak­oulu­jen vääristyneestä edus­tuk­ses­ta on hyvä ja perustel­lun tun­tu­inen, mut­ta selvi­tyk­sistämme ei ole löy­tynyt tukea sille.
    PISA-otan­ta on kak­si­vai­heinen (koulu­otan­ta ja oppi­la­sotan­ta), ja kum­mankin vai­heen yliedus­tuk­set kor­jataan tulosten lasken­nas­sa asetelma­pain­oin (kom­men­toi­jalle ”Juhani” tiedok­si, että kaik­ki PISA-tulok­set las­ke­taan asetel­mako­r­ja­tusti; useim­miten asetelmape­rusteisin Jack­knife-tyyp­pisin menetelmin, mut­ta myös mallipe­rusteisia menetelmiä ovat käytössä). Nämä pain­ot las­kee Wes­t­at toimit­tamis­tamme otan­ta­ke­hikkotiedoista. PISA-koulut poim­i­taan osite­tul­la PPS-otan­nal­la, eli suurim­mil­la kouluil­la on suurin toden­näköisyys tul­la otok­seen. Osit­teet ovat pääsään­töis­es­ti maanti­eteel­lisiä, mut­ta vuo­den 2012 otan­nas­sa maa­han­muut­ta­jien takia alueosit­tei­den sisäl­lä oli lisäk­si osi­tus koulun (arvioitu­jen) maa­han­muut­ta­jamäärien perus­teel­la: (1) ei maa­han­muut­ta­jaop­pi­lai­ta, (2) vähän maa­han­muut­ta­jaop­pi­lai­ta, (3) paljon maa­han­muut­ta­jaop­pi­lai­ta (en muista tässä tarkko­ja rajo­ja, paljonko oli paljon). Tämän lisäosi­tuk­sen avul­la maa­han­muut­ta­jamääriltään eri­lais­ten koulu­jen (ja siinä sivus­sa — sat­tuneesta syys­tä — myös sosioekono­mi­al­taan eri­ta­sois­t­en koulu­jen) osu­udet eri alueil­la pyrit­ti­in kor­jaa­maan pop­u­laa­tion tilan­net­ta vas­taaviksi. Epäon­nis­tuiko tämä kor­jaus sit­ten, ja minkä vuok­si? Sitä emme tiedä. Joka tapauk­ses­sa minä en tiedä, miten vuo­den 2012 tulok­set pitäisi ajaa uusik­si kor­jaa­mal­la yliedus­tuk­set, kos­ka ne oli jo kor­jat­tu. Vai oliko ne väärin kor­jat­tu? Onko min­ul­la nyt jokin perus­ta­van­laa­tu­inen sokea täplä jossain?
    Yksi poten­ti­aa­li­nen seli­tys mah­dol­liselle epäon­nis­tu­miselle on otan­ta­ke­hikko-ongel­ma: ei ole ole­mas­sa rek­istere­itä, joista näk­isi 100%-luotettavasti etukä­teen, kuka koulun oppi­las on maa­han­muut­ta­jataus­tainen ja kuka ei. On osoit­tau­tunut, että koulun opet­ta­jatkaan eivät sitä vält­tämät­tä tiedä! Suo­mi toise­na kie­lenä ‑oppi­las­määristä saa jotain vinkkiä, mut­ta siinäkin on ongelmia. Lop­ullises­sa datas­sa jouduimme käyt­tämään oppi­laan omaa vas­taus­ta siihen, mis­sä maas­sa hän ja hänen van­hempansa ovat syn­tyneet. Mit­tausvirhet­tä on tul­lut var­masti. Wes­t­atin arvion mukaan vuo­den 2012 notkah­dus­ta ei voi kuitenkaan selit­tää tällä.
    Lop­ullista totu­ut­ta meil­lä ei ole, mut­ta asi­aa pohdi­taan jatku­vasti, sem­minkin kun vas­taavalle maa­han­muut­ta­jaotan­nalle on tarvet­ta tule­vaisu­udessakin. Otan­ta­ke­hikon rak­en­t­a­mi­nen maa­han­muut­ta­jaotan­nalle on todel­li­nen ongelma.
    Oma mielip­i­teeni on sikäli toinen kuin Osmo Soin­in­vaaran, että vuo­den 2015 otan­taa ei ole tehty parem­min kuin vuo­den 2012 otan­ta. Vuo­den 2015 otan­ta oli ”taval­liseen tapaan” ositet­tu PISA-otan­ta, mikä etenkin pääkaupunkiseudun osalta tuot­ti merkit­tävästi sup­peam­man aineis­ton. Kos­ka vuon­na 2012 kerät­ti­in aineis­toon maa­han­muut­ta­jaop­pi­lai­ta, otan­ta pain­ot­tui suuri­in kaupunkei­hin, jois­sa maa­han­muut­ta­jat asu­vat (ja tämä otan­ta kor­jat­ti­in siis lasken­nas­sa asetelma­pain­oin). Seu­raus oli, että vuo­den 2012 PISA-aineis­tossa oli esimerkik­si 47 koulua Helsingistä, eli Helsin­ki ja suuret kaupun­git har­avoiti­in todel­la tarkasti. Vuo­den 2015 otok­ses­sa Helsingistä oli vain 11 PISA-koulua. Olemme havain­neet, että nämä koulut oli­vat vuo­den 2012 aineis­tossa pääsään­töis­es­ti ”men­estyjäk­oulu­ja”, kun taas vuo­den 2012 heikoim­mista helsinkiläisk­ouluista ei yksikään osunut PISA 2015 ‑otok­seen. Tämä näkyy kyl­lä tulosten (asetelmape­rustei­sis­sa) keskivirheis­sä: helsinkiläisk­oulu­jen tulosparan­nus ei ollut tilas­tol­lis­es­ti merkitsevä.
    Sitä, mitä tapah­tui Itä- ja Pohjois-Suomen otok­sis­sa (toisin sanoen sitä, miten v. 2015 oto­sk­oulut suh­tau­tu­vat v. 2012 oto­sk­oului­hin — osa on var­mas­tikin samo­ja, joskin Itä- ja Pohjois-Suomes­ta tule­vien koulu­jen määrät ovat todel­la pieniä ver­rat­tuna Etelä-Suomeen), en ole samal­la taval­la selvit­tänyt, mut­ta se pitää tehdä heti kun aika sal­lii. Kysymys on tärkeä, ja pyrin palaa­maan siihen lähitulevaisuudessa.
    En pysty nyt tark­ista­maan, miten vuo­den 2012 alueel­liset PISA-tulok­set menivät, mut­ta muis­taak­seni Suomen suu­raluei­den välil­lä ei kuitenkaan ollut tilas­tol­lis­es­ti merk­it­se­viä ero­ja (ainakaan kun tytöt ja pojat tarkastel­laan yhdessä). Vuon­na 2015 pääkaupunkiseudun parem­muus sen sijaan oli merk­it­sevä, ensim­mäistä ker­taa kaikkien PISA-tutkimusten his­to­ri­as­sa. Myös tulosten yhteys oppi­laan sosioekonomiseen taus­taan oli voimakkaampi kuin koskaan aikaisem­min Suomes­sa, mikä mielestäni selit­tää aika taval­la pääkaupunkiseudun hyviä tulok­sia. Yhteys löy­tyy sekä oppilas‑, koulu- että alue­ta­sol­la, joten mis­tään ekol­o­gis­es­ta virhep­äätelmästä ei näyt­täisi ole­van kyse.

    1. Kari Nissi­nen.
      Kun teil­lä oli vuo­den 2012 otan­nas­sa yliedus­tus maa­han­muut­ta­jak­ouluil­la, vähen­sit­tekö näi­den koulu­jen pain­on siis oikeak­si muyös kan­ta­suom­nalais­ten osalta. Olen lukenut selostuk­sen, jon­ka mukaan vain maa­han­muut­ta­jien määrä oikaisti­in oikeak­si. Jos koko kouluryh­män paino oikaisti­in oikeak­si, on tehty oikein ja perun moitteeni.
      Sen jäl­keen moite kohdis­tuu koulu­o­tok­sen pie­neen kokoon. Kun otok­ses­sa on vain helsinkiläistä 11 koulua, voi tulosten paran­tu­mi­nen johtua pelkästä satunnaisvirheestä.

      1. Kyl­lä. Koko kouluryh­män paino oikaisti­in, tai ainakin pyrit­ti­in oikaise­maan käytet­tävis­sä ollei­den kehikkoti­eto­jen perus­teel­la oikeak­si. Tämä on ruti­inia kaikissa Pisa-tutkimuk­sis­sa. Luke­masi selostus maa­han­muut­ta­jamäärän oikais­us­ta on ilmeisen yli­malkainen, pahoit­te­lut siitä. Se lie­nee peräisin ensir­a­portista, jos­sa on tiet­tyjä painei­ta kir­joit­taa ver­rat­en pop­u­laaristi. Kuten aiem­min kir­joitin, vuo­den 2012 havait­tu tulos­notkah­dus on ainakin eräil­lä alueil­la edelleen mys­teeri. Itse näen, että pääkaupunkiseudun muu­tos on olen­nais­es­ti sat­un­nais­vai­htelua. Olen myös taipu­vainen arvioimaan, että Pisa 2012 antoi suurimpi­en kaupunkien kohdal­la luotet­tavam­man tulok­sen kuin tuoreem­pi Pisa. Maa­han­muut­ta­jaotan­nan ansios­ta sen kiin­tiöin­ti oli taval­laan opti­maalisem­pi kuin maanti­eteel­lisen normiosi­tuk­sen kiin­tiöin­ti: otan­ta kohdis­tui parem­min niille alueille, jois­sa het­ero­geenisu­us on suurinta.

    2. Kari Nissi­nen:
      vuo­den 2012 heikoim­mista helsinkiläisk­ouluista ei yksikään osunut PISA 2015 ‑otok­seen.

      Mie­lenki­in­toista. Vuon­na 2015 pää­paino oli luon­non­ti­eteis­sä, jois­sa Suomen koulu­jen tulos heikkeni 32 pis­teel­lä (531 pis­teeseen) vuo­teen 2006 ver­rat­tuna. Työhy­po­teesi siis on, että vuo­den 2015 tulok­set oli­vat liian hyviä ollak­seen edus­tavia, pudo­tus­ta lie­nee siis ollut vieläkin enemmän? 

      Ovatko muuten PISA-aineis­tot avoimen datan hen­gen mukaises­ti kaikkien saatavil­la (anonymisoi­tu­ina toki)?

      1. Val­takun­nal­lis­es­ti pidän PISA 2015 ‑dataa kuten kaikkia muitakin PISA-dato­ja edus­tavina. Mie­lenki­in­toista sen sijaan on, että jopa Helsin­ki on sur­vey-mielessä “pien­alue”: koulu­o­tok­set voivat olla alueel­lisen edus­tavu­u­den kannal­ta liian pieniä. Henkilöko­htainen kan­tani on, että tule­vaisu­udessa Helsin­ki (tai pääkaupunkiseu­tu tarkoituk­sen­mukaises­ti määritel­tynä) tulisi erot­taa muus­ta Uud­esta­maas­ta omak­si osit­teek­seen. Nykyi­nen osi­tus perus­tuu euroop­palaiseen NUTS-alue­jakoon, jos­sa Helsin­ki on osa muu­ta Uuttamaata.

        Vuosi 2006 oli Suomen PISA-his­to­ri­an huip­pu­vu­osi. Ulko­muis­ti­ni mukaan Suomen sil­loinen tulosta­so pär­jäisi hyvin nyky­isillekin PISA-men­estyjille kuten Sin­ga­porelle tai joillekin Kiinan alueille (jot­ka eivät vielä tuo­hon aikaan olleet mukana).

        Ns. Pub­lic Use ‑PISA-datat ovat ladat­tavis­sa OECD:n PISA-sivuil­ta, anonymisoitu­na toki. Myös koulut ovat anonymisoidut avoimis­sa datoissa.

    3. Onko julkises­ti saatavil­la tietoa siitä, mitkä koulut oli­vat mukana otan­nas­sa 2012 ja 2015? Pääkaupunkiseudul­la on joitakin koulu­ja, jois­sa oppi­lasjoukko on hyvin valikoitunut­ta, enkä nyt tarkoi­ta pelkästään SYKkiä. Jos otan­nas­sa on mukana liian vähän koulu­ja, voi tulok­si­in vaikut­taa liikaa se, ovatko täl­laisen valikoituneen oppi­lasjoukon koulut sat­tuneet mukaan vai ei.

      Kun omat lapseni kävivät muu­ta­ma vuosi sit­ten (nykyis­es­tä tilanteesta en tiedä) Espoos­sa Nöykkiön koulua, oppi­laista ainakin kak­si kol­ma­sosaa oli joko matem­ati­ikkalu­okalla (jonne otet­ti­in pääsykokeil­la alle puo­let halukkaista) tai luki pitkän englan­nin lisäk­si joko A‑saksaa tai A‑ranskaa. Samaan aikaan Olar­in koulus­sa kaik­ki oppi­laat oli­vat joko matem­ati­ikkalu­okalla (jonne oli vielä vaikeampi päästä kuin Nöykkiön koulun matem­ati­ikkalu­okalle) tai luki­vat pitkän englan­nin lisäk­si A‑ranskaa. Jos nyt sat­tui, että Nöykkiö ja Olari eivät olleet vuo­den 2012 otan­nas­sa, mut­ta oli­vat molem­mat vuo­den 2015 otan­nas­sa, niin pelkästään täl­lä saat­toi olla vaiku­tuk­sia pääkaupunkiseudun tuloksiin.

      1. Se, mitkä koulut ovat olleet mukana mis­säkin otok­ses­sa, ei lähtöko­htais­es­ti ole julk­ista tietoa. Koulu voi tosin halutes­saan antaa tieto­ja omien oppi­laiden­sa (keskimääräis­es­tä) PISA-men­estyk­ses­tä julk­isu­u­teen, ja näin on joskus tapahtunutkin.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

Notify me of followup comments via e-mail. You can also subscribe without commenting.