Tutkimusten p-arvot ovat usein virheellisiä
Tunnettu lääketieteellisen julkaisemisen tutkija Peter Gotzsche pohjoismaisesta Cochrane-keskuksesta esitti mielenkiintoisen, mutta huolestuttavan tuloksen julkaistujen tutkimusten p-arvoista kansainvälisessä peer review -kokouksessa Chicagossa. Hän tarkasti, olivatko välille 0,04-0,06 ilmoitetut p-arvot oikeita satunnaistetuissa tutkimuksissa. Tämä alue valittiin, koska se on erityisen tärkeä tuloksen tilastollisen merkitsevyyden kannalta.
Aineisto sisälsi Medlinesta vuonna 2003 löytyneet julkaistut satunnaistetut vertailevat tutkimukset, joiden yhteenvedossa mainittiin "relative risk" tai "odds ratio" (n = 260). 29 satunnaistetussa tutkimuksessa p-arvo asettui 0,04:n ja 0,05:n välille ja 5 tutkimuksessa se oli 0,05-0,06. Tutkija sai käyttöönsä aineiston tarkistamista varten 23:sta ensin mainitun ryhmän tutkimuksesta ja 4:stä jälkimmäisen ryhmän. Kaikki jälkimmäisen ryhmän tulokset, siis ei-merkitsevälle alueelle asettuvat arvot olivat oikein, mutta merkitsevälle alueelle ilmoitetut olivat "rutistettuja", siis vääriä, 17:ssa tapauksessa 23:sta. Tutkija totesi, että satunnaistettujen tutkimusten tuloksissa ilmoitetaan paljon tilastollisesti merkittäviä eroja, mutta ne ovat usein harhaanjohtavia virheellisten laskelmien ja joskus myös aineiston väärän "haravoimisen" vuoksi.
Kokouksessa todettiin, että lääketieteellisillä lehdillä tulisi olla käytettävissään alkuperäiset aineistot ja resursseja tarkistaa tulokset. On mahdollista, että vaikutusvaltaisimmat lehdet tulevat edellyttämään tätä jatkossa julkaistavilta tutkimuksilta. Tutkija esitti tulostensa perusteella ajatuksen, että tilastollisen merkitsevyyden raja nostettaisiin korkeammalle tasolle.'
