Julkaisuharha syntyy, kun myönteisiä tuloksia sisältävät tutkimukset julkaistaan todennäköisemmin kuin negatiiviset tai epävarmat tulokset. Jos tutkija saa "negatiivisen" tuloksen, hän saattaa jättää sen julkaisematta tai pyrkiä muokkaamaan sitä myönteiseksi. Tämä valikoiva raportointi voi johtaa tulosten, esim. hoitovaikutusten, yliarviointiin ja vääristää tieteellistä näyttöä.
Miksi meidän tulisi välttää julkaisuharhaa?
Meta-analyysit, jotka yhdistävät useiden tutkimusten tuloksia, ovat erityisen alttiita julkaisuharhalle. Jos negatiiviset tutkimukset jäävät julkaisematta, hoitovaikutusten yhteisanalyysit voivat olla harhaanjohtavia, mikä voi johtaa virheellisiin tuloksiin ja suosituksiin kliinisessä työssä. Julkaisuharha vaikuttaa myös alkuperäisiin tutkimuksiin, sillä ne pohjautuvat aiempaan tieteelliseen kirjallisuuteen. Esimerkiksi tämän takia tutkija, jolla on parempi aineisto ja kehittyneempi metodologia, saattaa olla löytämättä tilastollisesti merkitsevää tulosta, vaikka aiemmat tutkimukset olisivat raportoineet sellaisen. Tämän seurauksena tutkijat voivat epäillä omien tulosten oikeellisuutta ja jättää ne julkaisematta. Tällaiset tutkimukset olisivat erityisen tärkeitä julkaista, jotta tieteellisen tietopohjan luotettavuus paranee.
Kaikki tämä liittyy tilastollisen merkitsevyystestauksen hallitsevaan rooliin lääketieteellisessä tutkimuksessa. On tärkeää muistaa, että tutkimustuloksia tulkittaessa tulee keskittyä vaikutuskokojen tai riskiestimaattien suuruusluokkiin ja niiden luottamusväleihin pikemminkin kuin tilastollisiin merkittävyyksiin.
Julkaisuharha liittyy myös toistettavuuskriisiin, eli tutkimustulosten heikkoon toistettavuuteen, joka on kasvava huolenaihe lääketieteellisessä tutkimuksessa. Koska nykyisin suurempi joukko tutkijoita esittää enemmän kysymyksiä, usein pienemmillä onnistumisen todennäköisyyksillä, sattumalta saadut löydökset yleistyvät. Julkaisuharha pahentaa tätä ongelmaa suosimalla tilastollisesti merkittäviä tutkimuksia samalla kun nollatulokset ja negatiiviset löydökset jäävät julkaisematta.
Muita harhoja
Lääketieteellisten tutkimusten löydösten uskottavuuteen vaikuttavat julkaisuharhan lisäksi myös tulosten ja analyysien raportointiharhat. Julkaisupaine saattaa luoda ilmapiirin, jossa "negatiivisia" tuloksia vähätellään eikä raportoida. Esimerkiksi tietyt "epäterveelliset" elämäntavat, kuten huono ruokavalio tai päihteiden käyttö, voidaan nähdä etukäteen haitallisina, mikä voi aiheuttaa harhoja tutkimusten suunnittelussa, toteutuksessa ja raportoinnissa. Tulokset, jotka vain niukasti täyttävät tilastollisen merkitsevyyden kriteerit, saatetaan yliarvioida aiempien harhautuneiden tutkimusten perusteella. Julkaisuharhaan liittyviä harhoja ovat white hat -harha ja vahvistusharha. White hat -harha tarkoittaa tutkimustiedon vääristämistä "hyvien tarkoitusperien" nimissä, kun taas vahvistusharhassa korostetaan tuloksia, jotka tukevat aiempia näkemyksiä tai hypoteeseja – vaikka ne olisivat heikkoja tai tilastollisesti merkityksettömiä.
Julkaisuharha ei tarkoita pelkästään sitä, että koko tutkimus jää julkaisematta, vaan se voi ilmetä myös tulosten raportointiharhana. Esimerkiksi kliinisten kokeiden tutkimusprotokollien ja julkaistujen artikkelien vertailuissa on havaittu, että noin puolessa tutkimuksista ainakin yksi ensisijainen tulos oli muutettu, lisätty tai poistettu. Lisäksi haittavaikutusten ja negatiivisten tulosten aliraportointi voi estää lääketieteellisten hoitojen pitkäaikaisen turvallisuuden tarkan arvioinnin. Tämä voi hidastaa haittavaikutusten tunnistamista ja vaarantaa potilasturvallisuuden.
Kuinka julkaisuharhaa voidaan vähentää?
Julkaisuharhan havaitsemiseksi on kehitetty erilaisia tilastollisia menetelmiä, kuten suppilokuviot ja regressiotestit, mutta sen tunnistaminen ja korjaaminen meta-analyyseissä on haastavaa. Korjausmenetelmät perustuvat usein oletuksiin, jotka eivät aina pidä paikkaansa, mikä korostaa ennaltaehkäisevien toimien tärkeyttä.
Julkaisuharhan torjuminen edellyttää läpinäkyvyyttä, kuten tutkimusten ennakkorekisteröintiä, avoimia muuttujaluetteloja, avointa dataa ja kattavaa raportointia. Asennemuutokset tutkijoiden ja julkaisijoiden keskuudessa ovat avainasemassa harhan vähentämisessä. Lisäämällä tietoisuutta "negatiivisten" tulosten merkityksestä voidaan muuttaa kulttuuria, joka suosii pelkästään "positiivisia" löytöjä. Kannustamalla kaikkien tulosten julkaisemiseen voidaan edistää kattavampaa raportointia. Joillakin tieteenaloilla on jo olemassa erikoislehtiä, jotka keskittyvät ei-merkitseviin tuloksiin, ja joissakin lehdissä arviointiohjeissa korostetaan, että tutkimukset arvioidaan metodologisen laadun eikä tilastollisen merkitsevyyden perusteella.
Sanat kuten "positiivinen", "merkittävä" tai "negatiivinen" voivat olla harhaanjohtavia, sillä kaikki tulokset ovat yhtä arvokkaita tieteen kannalta, kunhan ne perustuvat pätevään logiikkaan ja laadukkaisiin menetelmiin. Onkin tärkeää, että heikkojen korrelaatioiden toistamisen sijaan keskitymme tutkimaan ilmiöitä vahvemmilla menetelmillä.
Kirjoittaja:
Professori Jouko Miettunen
Lisätietoa:
Dwan K, Gamble C, Williamson PR, Kirkham JJ; Reporting Bias Group. Systematic review of the empirical evidence of study publication bias and outcome reporting bias - an updated review. PLoS One 2013; 8(7):e66844. doi: 10.1371/journal.pone.0066844.
Ioannidis JP. Why most published research findings are false. PLoS Med 2005; 2(8):e124. doi: 10.1371/journal.pmed.0020124.
Schoenfeld JD, Ioannidis JP. Is everything we eat associated with cancer? A systematic cookbook review. Am J Clin Nutr 201; 97(1):127-34. doi: 10.3945/ajcn.112.047142.
Terveyttä tutkimassa -blogissa kirjoitetaan väestöterveyden ja lääketieteen tutkimukseen liittyvistä aiheista sekä esitellään ja pohditaan ajankohtaisia aiheeseen liittyviä ilmiöitä. Kirjoittajina toimivat pääasiassa lääketieteellisen tiedekunnan tutkijat.