Ajattelin kertoa tässä tutkimuksesta, jonka mukaan sähköpostipaasto parantaa töissä keskittymistä ja vähentää stressiä. Kuulostaa järkevältä ja uskottavalta. Tutkimustulosten raportointi herätti kuitenkin niin paljon kysymyksiä, ettei vastauksia jäänyt enää lainkaan.

Opettajani yliopistolla tapasi painottaa, että tieteellisistä artikkeleista on syytä ensin lukea menetelmät, ja jos niiden perusteella tutkimuksessa on järkeä, kannattaa lukea loputkin. Tähän voisi lisätä, että kannattaa ensin myös katsoa, onko tuloksia käsitelty asianmukaisilla tilastomenetelmillä.

Lipsuin tästä periaatteesta, kun huomasin viime vuoden CHI-kongressijulkaisussa (Conference on Human-Computer Interaction) artikkelin, jossa tarkasteltiin monille tuttua tilannetta eli suurta sähköpostitulvaa. Tutkimuksessa selvitettiin sähköpostipaaston hyödyllisyyttä muun muassa seuraamalla ihmisten toimistotyötä useita päiviä ja tarkastelemalla, missä määrin työntekijät keskittyvät yhteen asiaan tai vaihtelevat eri tietokoneohjelmien välillä. Käytettiin myös fysiologisia mittareita eli arvioitiin stressitasoa mittaamalla sydämen sykevälivaihtelua. Kuulostaa hyvältä.

Lueskelin juttua tyytyväisenä, kunnes tulostaulukot kiinnittivät huomioni. Niissä esiteltiin, kuinka paljon aikaa ihmiset käyttivät erilaisiin tehtäviin tavallisesti työssään ja toisaalta jos sähköpostien tulo oli estetty. Näissä tulostaulukoissa käytettyä aikaa ilmaistiin keskiarvoina (Mean) ja lisäksi ilmoitettiin keskihajonta (SD). Keskihajonta oli useissa taulukoissa monin kerroin suurempi kuin keskiarvo. Esimerkiksi perustilanteessa tietokoneen eri ikkunoissa viivyttiin keskimäärin 76 sekuntia ja keskihajonta oli 394 sekuntia, kun taas sähköpostipaastotilanteessa yhteen ikkunaan keskityttiin keskimäärin 132 sekuntia keskihajonnan ollessa 568 sekuntia.

Suuri keskihajonta tarkoittaa sitä, että tutkimuksessa mitatut ajat vaihtelivat valtavasti ja jakaantuivat hyvin laajalle. Raportoidut keskiarvot eivät oikeastaan kertoneet mitään siitä, missä määrin ihmiset erilaisiin tehtäviin aikaa käyttävät: tuloksissa ei kerrottu, millä tavalla aikamittaukset sijoittuvat keskiarvoon nähden. Esitettyjen tulosten perusteella vaikuttaa kuitenkin siltä, että mitatut ajat eivät jakautuneet normaalisti keskiarvon ympärille. Tätä ei ole kuitenkaan mitenkään otettu huomioon tulosten analysoinnissa.

Psykologian yliopisto-opiskelijat, itsekin aikanani, ihmettelevät usein, miksi tilastotiede on moniin yliopistoihin psykologian pääsykoevaatimuksena, ja miksi sitä pitää opiskella useita kursseja. Ilman oikeita menetelmiä muuten hyvältä näyttävä tutkimus on kuitenkin vain nollatutkimusta, jonka tulosten luotettavuudesta ei ole mitään takeita.

Tilastotiedettä ei voi unohtaa edes sitten kun valmistuu psykologiksi. Kun päivittää tietämystään lukemalla uusia tutkimusartikkeleita, joutuu aina arvioimaan tulosten luotettavuutta: onko aineistoa käsitelty niin kuin pitää ja kertovatko tulokset jostain oikeasta asiasta. Kun ihmetys herää, yleensä löytyy suuri joukko muitakin samaa asiaa ihmetelleitä. Esimerkiksi tutkijayhteisössä on yli 50 kommentin voimin keskusteltu siitä, onko ongelma, jos tuloksissa keskihajonta on suurempi kuin keskiarvo.

ResearchGate –verkoston keskustelua keskiarvoista ja -hajonnoista.

Kongressijulkaisu sähköpostipaastosta.