‘Spindokters’?
Medisch-wetenschappelijke onderzoekers blijken onderzoeksbevindingen vaak te gunstig voor te stellen in hun artikelen: in 68% van onderzoeksartikelen vonden auteurs van de Universiteit van Oxford een opgepoetste of verdraaide weergave. Bij een kwart was deze vertekening ernstig (JAMA 2010;303:2058-64). Isabelle Boutron en haar medeauteurs verzamelden in PubMed verslagen van gerandomiseerde gecontroleerde trials met een directe vergelijking van twee behandelingen, met statistisch niet-significante bevindingen voor de primaire uitkomstmaten (p ≥ 0,05).
De auteurs definiëren deze vorm van oppoetsen (‘spin’) als ‘specifieke vormen van rapportage, vanuit welk motief dan ook, die de interpretatie van resultaten kunnen verstoren en lezers kunnen misleiden, om te benadrukken dat de experimentele behandeling heilzaam is, ondanks statistisch niet significante verschillen voor de primaire uitkomst, of om lezers af te leiden van de niet-significante uitkomsten’. Zij spreken van ernstige vertekening als onderzoekers ten onrechte geen onzekerheden in hun onderzoek naar voren brengen, hun resultaten niet in het juiste kader plaatsen, niet wijzen op het ontbreken van significantie of aanraden de interventie in de klinische praktijk toe te passen.
Vertekening
Bij 13 (18%) van de 72 artikelen begon de vertekening al in de titel. In de beschrijving van de resultaten in de samenvattingen was er manipulatie bij 27 (37%) en in de conclusies van 42 samenvattingen (58%). In de tekst van het artikel was er vertekening in 21 (29%) van de resultatensecties, in 31 (43%) van de beschouwingen en in 36 (50%) van de conclusies. Meer dan 40% van de artikelteksten vertoonde vertekening in 2 of meer onderdelen. In totaal vertoonden 49 (68%) samenvattingen en 44 teksten (61%) manipulatie in ten minste 1 onderdeel.
Leerzame voorbeelden
Het artikel is leerzaam voor tijdschriftredacties, referenten, auteurs en algemene lezers. Het is een goede oefening in kritisch lezen. Kwalijk is dat de meeste vertekening te vinden was in de samenvatting: vaak is alleen die gratis te raadplegen op internet.
Als beperkingen van dit onderzoek noemen de auteurs dat zij subjectief kunnen zijn in hun beoordeling van manipulatie. Verder keken ze alleen naar niet-significante bevindingen. Onderzoekers zullen zich in deze categorie misschien wat eerder tot het oppoetsen van hun bevindingen laten verleiden. Tot slot konden auteurs niet uitmaken of de manipulatie opzettelijk was of toe te schrijven aan gebrek aan kennis.
Tip: Bekijk vooral de bijlage (onder het kopje ‘Supplemental Content’) bij het artikel met gedetailleerde voorbeelden van de gevonden vormen van manipulatie. Wij geven enkele voorbeelden hieruit in de onderstaande voorbeelden.
Enkele voorbeelden
Misleidende titels
‘De invloed van het overactieve blaassyndroom voor seksueel functioneren; een preliminair rapport van de Multicenter Assessment of Transdermal Therapy in Overactive Bladder with Oxybutynin trial’
Opmerking: auteurs vergelijken oxybutynine-plus-gedragstherapie met alleen oxybutynine. De titel is misleidend omdat die op een ander onderwerp focust.
‘Urinekatheter is misschien niet nodig bij kleine chirurgie onder spinale anesthesie met lang-werkende lokale anesthetica’.
Opmerking: ook deze titel richt zich niet op onderwerp van het onderzoek: vergelijking van 2 anesthesieprotocollen.
Misleidende conclusies
… ‘Hoe dan ook, er waren verbeteringen in middel-heupratio, bloeddruk, en hdl-cholesterol in beide groepen, die of statistisch significant waren of significantie benaderden’
‘De effecten van beide medicijnen zijn gelijk, en er werden geen verschillen tussen beide opgemerkt. Beide middelen reduceren op een statistisch significante manier systolische en diastolische bloeddruk en…..’
Opmerking: focus op de vergelijking binnen de groep en niet op de vergelijking van de twee middelen volgens het studieprotocol; bovendien kan ‘significantie niet benaderd worden’, een verschil is wel of niet significant.
‘Bij patiënten met chronische hepatitis C, heeft een enkele inname van 50 g alcohol geen effect op de leverfunctiewaarden en HCV-RNA-concentraties. Het is daarom een zaak van verder onderzoek of sporadisch drinken van kleine tot gemiddelde hoeveelheden alcohol vermeden moet worden door patiënten met chronische hepatitis C.’
Opmerkingen: dit voorbeeld toont aan hoe ernstig het gebruik van misleidende informatie kan zijn. Deze tekst impliceert nl. dat drankgebruik veilig is voor deze patiënten. Wat de auteurs in deze conclusie in de samenvatting niet vermelden, is dat zij hun onderzoek voortijdig beëindigd hebben wegens ‘futiliteit’. Er waren nl. 5000 patiënten nodig i.p.v. de nu onderzochte 22. En de titel luidde: ‘Een enkele alcoholconsumptie heeft geen invloed op serum hepatitis C-virus-RNA bij patiënten met chronische hepatitis C’.