Aanbevelingen ICMJE: alle aanpassingen

30 mei 20233 januari 2020 door Kabos Van der Vliet

De belangrijkste richtlijnen voor publiceren die gelden bij het schrijven en aanbieden van een medisch-wetenschappelijk artikel vindt u in de aanbevelingen (tot 2013 ‘uniforme voorschriften’) van het International Committee of Medical Journal Editors, het ICMJE.

Ze bevatten regels voor onder andere auteurschap, redacteuren en peer review. Verder geven ze praktische aanwijzingen voor de aanbieding van het manuscript, de indeling en de lay-out van artikelen. In Nederland worden ze officieel onderschreven door het NTvG en ook het Tijdschrift voor Psychiatrie en Pharmaceutisch Weekblad volgen deze aanbevelingen. Wij geven een overzicht van de belangrijkste wijzigingen in de loop van de tijd

Aanpassingen mei 2023: ICMJE over AI: ‘gezaghebbend klinkende uitvoer die onjuist, onvolledig of bevooroordeeld kan zijn’

In deze aanpassingsronde heeft het ICMJE een aantal aanpassingen doorgevoerd (geannoteerde versie):

een kleine wijziging in de 4 criteria voor auteurschap;
een uitgebreidere aanpassing over hoe redactie en auteurs moeten omgaan met AI;
een aanvulling op het gebied van richtlijnen.

Voor het auteurschap gelden de bekende 4 eisen (altijd goed om deze nog even te herhalen):

een aanzienlijke bijdrage hebben geleverd aan het ontwerp of de opzet van het werk, of het verkrijgen, analyseren of interpreteren van gegevens voor het werk EN
het concept van het artikel hebben bedacht of de wetenschappelijke inhoud ervan kritisch hebben gereviseerd EN
de uiteindelijke te publiceren versie hebben gelezen en goedgekeurd EN
verklaren verantwoordelijk te zijn voor alle aspecten van het werk door te verzekeren dat vragen die te maken hebben met de juistheid en de betrouwbaarheid van alle delen van het werk afdoende zijn onderzocht en opgelost.

Bij het tweede punt geldt niet langer dat de auteur het werk ‘kritisch gereviseerd’ moet hebben, maar moet deze het ‘kritisch geëvalueerd’ hebben. Het gaat erom dat een auteur het werk kritisch beoordeeld moet hebben; daarbij hoeft er niet per se iets veranderd te worden.

Veel uitgebreider is de aanpassing over het gebruik van artificial intelligence in wetenschappelijke artikelen.

Dat is zeker welkom. Ook in Nederlandstalige publicaties testen auteurs of ChatGPT nuttige inhoud kan genereren op hun vakgebied: in het Tijdschrift voor Psychiatrie schreef Edwin van Dellen Kunstmatige intelligentie in de psychiatrie: cocreatie van mens en ChatGPT, in HEELdeHUID schreef dermatoloog Kees-Peter de Roos met ChatGPT een stuk waarvan ons vooral de – door de hoofdredacteur bedachte – titel bijbleef: De schurft aan schrijven (pag. 29) en in het NTvG schreven drie artsen in samenwerking met een AI-engineer Kan AI een NTvG-artikel schrijven? (achter betaalmuur). Hoofdredacteur Marcel Olde Rikkert wil snel weg uit de AI-hype en concludeert in zijn redactioneel Matige intelligentie ‘Dus, om auteursverwachtingen te managen: het NTvG zal conform internationale afspraken geen chatbot als auteur toestaan.’

Het ICMJE schrijft in het gedeelte over auteurschap:

Door kunstmatige intelligentie (AI) ondersteunde technologie
‘Bij indiening moet het tijdschrift van auteurs verlangen dat ze bekendmaken of ze door kunstmatige intelligentie (AI) ondersteunde technologieën (zoals Large Language Models [LLM’s], chatbots of makers van afbeeldingen) hebben gebruikt bij de productie van ingezonden werk. Auteurs die dergelijke technologie gebruiken, moeten zowel in de begeleidende brief als in het ingediende werk beschrijven hoe ze deze hebben gebruikt. Chatbots (zoals ChatGPT) mogen niet als auteurs worden vermeld omdat ze niet verantwoordelijk kunnen zijn voor de nauwkeurigheid, integriteit en originaliteit van het werk, en deze verantwoordelijkheden zijn vereist voor auteurschap (zie Sectie II.A.1). Daarom zijn mensen verantwoordelijk voor al het ingediende materiaal dat het gebruik van AI-ondersteunde technologieën bevat. Auteurs moeten het resultaat zorgvuldig bekijken en bewerken, omdat AI gezaghebbend klinkende uitvoer kan genereren die onjuist, onvolledig of bevooroordeeld kan zijn. Auteurs mogen AI en AI-ondersteunde technologieën niet als auteur of co-auteur vermelden, noch AI als auteur noemen. Auteurs moeten kunnen beweren dat er geen plagiaat in hun artikel zit, ook niet in tekst en afbeeldingen die door de AI zijn geproduceerd. Mensen moeten ervoor zorgen dat al het geciteerde materiaal op de juiste manier wordt vermeld, inclusief volledige citaten.’

Verderop in de sectie over peerreview waarschuwt het ICMJE dat referenten manuscripten vertrouwelijk moeten beoordelen, en dat ze deze daarom ‘niet naar software of andere AI-technologieën moeten uploaden wanneer de vertrouwelijkheid niet kan worden gegarandeerd. Referenten moeten aan tijdschriften bekendmaken of en hoe zij AI-technologie gebruiken om hun beoordeling te vergemakkelijken.’ Het ICMJE waarschuwt niet alleen auteurs, maar ook referenten: ook zij ‘moeten zich ervan bewust zijn dat AI gezaghebbend klinkende output kan genereren die onjuist, onvolledig of bevooroordeeld kan zijn.’

Bij de bespreking van referenties waarschuwt het ICMJE dat het niet toegestaan is om te verwijzen naar AI-gegenereerde materialen als primaire bron.

Ten slotte vinden we bij de bespreking van richtlijnen nog de volgende aanvulling:

Auteurs worden aangemoedigd om te verwijzen naar de SAGER-richtlijnen voor het rapporteren van geslachts- en genderinformatie in onderzoeksontwerp, gegevensanalyses, resultaten en interpretatie van bevindingen: www.equator-network.org/reporting-guidelines/sager-guidelines/.

Aanpassingen mei 2022

Slechts 3 aanvullingen in deze ronde (geannoteerde versie):

Het ICMJE beschouwt publicatie van gegevens in rapporten of beoordelingen door toezichthoudende instanties (bijv. technologische beoordelingen of toezicht op het gebied van medische zaken of medische hulpmiddelen) niet als dubbelpublicatie.
Bij de beschrijving van de selectie en van de deelnemers aan een onderzoek moeten auteurs aangeven hoe representatief hun steekproef is voor de algemene doelgroep die zij met hun onderzoek op het oog hebben.
In het verlengde daarvan: wanneer onderzoekers geen gegevens over ras of etniciteit hebben verzameld, moeten ze aangeven waarom ze dat niet gedaan hebben. Ras en etniciteit zijn sociale en geen biologische constructen; auteurs moeten resultaten die samenhangen met ras en etniciteit in die context interpreteren.

Aanpassingen december 2021

Ook in 2021 geen ingrijpende wijzigingen in de ICMJE-richtlijnen. Zie de geannoteerde versie (december 2021) voor een snel overzicht. Het enige opvallende punt is dat de tekst voor preprintarchieven flink is uitgebreid. Niet zo vreemd, aangezien deze steeds vaker gebruikt worden, ook om snel corona-onderzoek te publiceren (en weer terug te trekken, denkt de cynicus). Wanneer u als auteur gebruik wilt maken van een preprintarchief, moet dit voldoen aan de volgende voorwaarden:

Men moet duidelijk aangeven dat preprints geen peerreview ondergaan hebben.
Auteurs moeten strijdige belangen vermelden.
Auteurs dienen financiering te vermelden.
Er moet een helder proces zijn zodat gebruikers kunnen waarschuwen wanneer er zorgen zijn over een preprint – een open commentaarsectie hiervoor is gewenst.
Ook moet het archief gegevens bijhouden over preprints die teruggetrokken zijn, met tijdstip en reden voor terugtrekking.
Het omgekeerde moet ook aangegeven kunnen worden: wanneer een preprint gepubliceerd is in een tijdschrift met peerreview.

Verder geldt dat auteurs duidelijk moeten aangeven dat ze een artikel eerder in een preprintarchief hebben opgenomen als zij het aan een tijdschrift ter beoordeling inzenden. Ook moeten auteurs in literatuurlijsten aangeven wanneer zijn verwijzen naar een publicatie die in een preprintarchief is opgenomen. Dit kan men ook in de tekst vermelden bij het bespreken van de referentie. Auteurs moeten voorzichtig zijn wanneer een artikel langere tijd in een preprintarchief is opgenomen zonder dat een reguliere publicatie in een tijdschrift met peerreview volgt.

Aanpassingen 2019

De aanpassingen van december 2019 zijn licht. Er springen enkele punten uit. Zie de geannoteerde pdf (2019) voor een snel overzicht.

– Auteursvolgorde. Voor alle duidelijkheid is nu expliciet toegevoegd dat auteurs onderling moeten beslissen als er meningsverschillen zijn over de volgorde van auteurs; dus niet de tijdschriftredactie.

– Strijdige belangen. De mededeling van strijdige belangen of zaken die daarbij mogelijk meespelen, moet transparant zijn. De lezer moet zelf kunnen beoordelen of een mogelijk belang van invloed zou kunnen zijn op wat de auteur meldt. Ook al wijst een mogelijke relatie of activiteit niet direct op problemen voor de inhoud van een artikel, de perceptie van een belangenconflict kan net zozeer het vertrouwen in de wetenschap ondermijnen als een werkelijk belangenconflict. De naam van deze sectie wordt dan ook uitgebreid: ‘Vermelding van financiële en niet-financiële relaties en activiteiten en strijdige belangen’.

– Diversiteit en inclusie. Om de academische cultuur te verbeteren, moeten redacteuren ernaar streven een breed en divers scala aan te trekken van auteurs, reviewers, redactiemedewerkers en leden van de redactieraad, én lezers.

– Assistentie peerreview. Als reviewers zich laten bijstaan door assistenten of adviseurs, dienen zij dit te melden bij de redactie. Uiteraard vallen deze assistenten ook onder de geheimhoudingsplicht.

– Trialregistratie. Toestemming voor een onderzoek, gegeven door een onafhankelijke plaatselijke of zelfs landelijke medisch-ethische commissie of instantie, kan niet dienen als vervanging van de verplichte trialregistratie.

– ‘Roofreferenties’. Auteurs moeten geen referenties opnemen naar roof- of pseudotijdschriften.

Aanpassingen 2018

Eind december 2018 vernieuwde het ICMJE opnieuw zijn aanbevelingen. In de geannoteerde pdf (2018) ziet u snel de belangrijkste aanpassingen. Deze betreffen:

– De expliciete regel dat het doelbewust niet vermelden van strijdige belangen opgevat wordt als wetenschappelijk wangedrag.

– De aanmaning dat de tijdschriftredactie zorgvuldiger dient om te gaan met peerreview van manuscripten van personen betrokken bij redactionele beslissingen van het betreffende tijdschrift.

– Relativering belang impactfactor. Het ICMJE wil dat redacties minder focussen op de impactfactor van hun blad en stelt dat ‘de impactfactor breed misbruikt wordt als surrogaatmaat voor de kwaliteit van onderzoek en tijdschrift’. Het ICMJE ziet liever dat men een brede mix van artikel- en tijdschriftmetrics gebruikt.

– Publicatie op pre-printservers: wanneer auteurs hun werk willen publiceren op een pre-printserver, raadt het ICMJE aan servers te gebruiken die duidelijk onderscheid maken tussen manuscripten die wel en niet peerreview ondergingen. Ook moeten auteurs zorgen dat de achtereenvolgende versies herkenbaar opgenomen zijn en ze moeten redacties informeren dat hun werk op zo’n server staat.

– Publicatie bij zaken met direct en groot belang voor de volksgezondheid: auteurs die belangrijke gegevens snel publiek beschikbaar maken, moeten met voorrang kunnen publiceren in tijdschriften.

Aanpassingen 2017

Eind december 2017 verscheen weer een aangepaste versie van de ICMJE-aanbevelingen. In de geannoteerde pdf (2017) zijn alle aanpassingen snel te bekijken.

– Roofbladen. De passage over ‘predatory’ of pseudotijdschriften werd uitgebreid, met de nuttige waarschuwing dat je als auteur pas ná acceptatie te horen krijgt dat je moet betalen voor de publicatie. Verder waarschuwt het ICMJE dat de namen van deze flutbladen vaak erg lijken op die van echte tijdschriften en dat ze vaak claimen lid te zijn van het ICMJE, WAME of COPE (wat ze uiteraard niet zijn). Ook hebben ze geen ‘peer review’. Auteurs moeten hier zelf voor opletten; WAME heeft goede informatie over het herkennen van deze roofzuchtige ‘redacties’.

– Bij de medisch-ethische toetsing komt de verklaring van Helsinki op de eerste plaats te staan, gevolgd door medisch-ethische toetsing door lokale, regionale of landelijke onafhankelijke instellingen, zoals de medisch-ethische commissies. Dit moet duidelijk verantwoord worden in de methodesectie van een artikel.

– Delen van resultaten in trialregistratie is de verantwoording van auteurs, niet van het tijdschrift. Auteurs zijn verantwoordelijk voor het deugdelijk rapporteren van resultaten in trialregistraties, en voor het verklaren van eventuele verschillen tussen de weergave van resultaten in trialregistraties en die in tijdschriftpublicaties.

– Delen van data. Het ICMJE breidt de passage over het delen van data flink uit, met de aanpassingen zoals beschreven in het redactioneel uit juni 2017 (zie de volgende paragraaf). Vanaf juli 2018 geldt voor onderzoeksartikelen een verplichte verklaring over het delen van data. Deze verklaring moet onder meer bevatten: een nauwkeurige beschrijving van hoe en op welke wijze de data gedeeld worden, welke data precies beschikbaar zijn en of er aanvullende gegevens beschikbaar zijn. Auteurs van secundaire data-analyses (bijv. meta-analyses) die gedeelde data gebruiken, moeten goed aangeven waar zij deze vandaan halen en moeten ook duidelijk aangeven waardoor hun bevindingen afwijken van eerdere analyses. Degenen die de data oorspronkelijk genereerden en beschikbaar stelden, dienen daarvoor gepaste credits te krijgen (ere wie ere toekomt) en het ICMJE stelt dat secundaire bewerkingen zo veel mogelijk samen met de primaire auteurs uitgevoerd moeten worden.

Data delen

In juni 2017 publiceerden leden van het ICMJE een redactioneel in o.a. Annals of Internal Medicine met een voorstel voor een geleidelijke uitbreiding van het delen van data voor klinische trials. Per 1 juli 2018 moeten ingediende manuscripten over klinische trials een verklaring over de toegankelijkheid van de data bevatten. Voor klinische trials waarbij patiënten geïncludeerd worden vanaf 1 januari 2019 moeten auteurs bij de trialregistratie een ‘data sharing plan’ indienen.

Aanpassingen 2016

Sinds januari 2016 geeft het ICMJE uitgebreide richtlijnen over het delen van onderzoeksdata (zie hierover het overzichtsartikel in het NTvG). In december 2016 heeft het ICMJE de richtlijnen uitgebreid op het punt van retractaties, correctie en herziening van gegevens in onderzoeksartikelen en correct gebruik van terminologie inzake gender en sekse. Aanpassingen zijn te zien in een geannoteerde pdf-versie van de ICMJE-richtlijnen.

Aanpassingen 2014

In december 2014 verscheen een aangepaste versie van de ICMJE-aanbevelingen. Deze wijzigingen richten zich vooral op de volgende punten:

– Onafhankelijkheid. Auteurs moeten ervoor zorgen dat in overeenkomsten met sponsors (profit en non-profit) de volledige toegang tot de complete data voor auteurs gegarandeerd is. Ook moeten de auteurs de data geheel onafhankelijk kunnen analyseren en interpreteren en het manuscript volkomen onafhankelijk kunnen bewerken en publiceren, waar en wanneer zij zelf verkiezen.

– Ethische toetsing. Bij onderzoek met mensen moeten auteurs aangeven dat de medisch-ethische commissie (MEC) van hun instelling de procedures in het onderzoek heeft beoordeeld en goedgekeurd. Als er geen MEC is, dient het onderzoek te voldoen aan de eisen in de Verklaring van Helsinki. Bij twijfel dient de MEC van de instelling naar specifieke aspecten te kijken. Toestemming van deze commissie ontslaat redacties niet van de plicht om zelf te beoordelen of het onderzoek medisch-ethisch solide is.

– Voorpublicatie. De ICMJE beschouwt publicatie van resultaten in een trialregister niet als ‘ongeoorloofde dubbelpublicatie’ indien het om een kort abstract van de voornaamste resultaten gaat, waarbij de grens van maximaal 500 woorden niet wordt overschreden.

– Discussie. Wetenschappelijke discussies over en kritiek op publicaties moeten door redacties worden aangemoedigd.

– Kosten? Tijdschriftredacties moeten helder zijn over hun inkomsten en moeten duidelijk vermelden of en zo ja, welke vergoedingen zij van auteurs vragen. Auteurs moeten hier kennis van kunnen nemen voor zij aan hun manuscript beginnen of voor zij het insturen.

– Data. Indien de onderzoeksgegevens in een publiekelijk toegankelijke database zijn opgeslagen, dient dit aan het einde van de samenvatting vermeld te worden (met naam van de dataset, nummer en internetadres).

– Methode. De methodesectie dient dermate duidelijk en gedetailleerd te zijn dat deze replicatie van het onderzoek mogelijk maakt. Indien een organisatie betaald of ingeschakeld is om het onderzoek te verrichten (bijvoorbeeld om de data te verzamelen of te analyseren), dient dit in de methodesectie beschreven en verantwoord te worden. Ook dient de toestemming van de MEC genoemd te worden in deze sectie, evenals de andere genoemde medisch-ethische overwegingen.

– Referenties. Redacteuren, referenten of auteurs mogen verwijzingen naar literatuur niet gebruiken om hun eigen belangen te promoten.

– Openheid. Indien er twijfels of zorgen zijn uitgesproken over het onderzoek door het betrokken onderzoeksinstituut of door toezichthouders, dienen de auteurs in hun aanbiedingsbrief aan de redactie laatstgenoemde hierover te informeren. Dit geldt ook indien corrigerende actie is aangeraden.

In de geannoteerde versie van de in december 2014 vernieuwde ICMJE-richtlijnen kunt u alle wijzigingen snel bekijken.

Aanpassingen 2013

In augustus 2013 heeft het ICMJE een nieuwe versie van de ‘uniforme voorschriften’ gepubliceerd. De voorschriften hebben een nieuwe naam gekregen: “ICMJE Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals” (afgekort als “ICMJE Recommendations”). Hiermee wil het ICMJE benadrukken dat het om meer gaat dan alleen regels voor het opstellen en insturen van manuscripten.

Vierde criterium voor auteurschap

De belangrijkste verandering is het toevoegen van een 4de criterium voor auteurschap.

Voor auteurschap gelden nu de volgende 4 eisen:

een aanzienlijke bijdrage hebben geleverd aan ontwerp of opzet van het werk, of het verkrijgen, analyseren en interpreteren van gegevens voro het werk, EN
het concept van het artikel hebben bedacht of de wetenschappelijke inhoud ervan kritisch hebben gereviseerd EN
de uiteindelijke te publiceren versie hebben gelezen en goedgekeurd EN
verklaren verantwoordelijk te zijn voor alle aspecten van het werk door te verzekeren dat vragen die te maken hebben met de juistheid en de betrouwbaarheid van alle delen van het werk afdoende zijn onderzocht en opgelost.

De vierde toevoeging krijgt als toelichting: “Auteurschap houdt niet alleen in credits voor het werk, maar ook verantwoordelijkheid”. Het vierde criterium moet tegengaan dat auteurs zich aan hun verantwoordelijkheid voor het hele artikel onttrekken (“Dat gedeelte heb ik niet geschreven of dat deel van het onderzoek heb ik niet uitgevoerd, vraag maar iemand anders”). Het ICMJE formuleert treffend:

“Als er vragen rijzen over een aspect van een onderzoek of publicatie, hebben alle auteurs de plicht hiernaar onderzoek te doen en het probleem op te lossen. Door het auteurschap te accepteren, accepteert een auteur dat elk probleem dat te maken heeft met de publicatie, per definitie ook zijn of haar probleem is.”

Dit 4de criterium lijkt ons erg nuttig. Wij adviseren auteurs om vooral de laatste versie van de originele Engelstalige ICMJE-aanbevelingen te raadplegen (vertaalde versies kunnen verouderd zijn).

Practice what you preach? Medische toptijdschriften houden zich niet aan CONSORT-regels

16 september 202025 februari 2019 door Kabos Van der Vliet

CONSORT: horen, zien, zwijgen? — Foto door ‘2554813’, gevonden op pixabay.com

Hoe maken we de medische onderzoeksliteratuur zo betrouwbaar mogelijk? Veel richtlijnen voor publiceren van medisch-wetenschappelijk onderzoek zijn erop gericht om manipulatie van uitkomsten tegen te gaan. Verschillen tussen vooraf vastgelegde uitkomstmaten (‘wat gaan we meten?’) in gepubliceerde protocollen en trialregisters en uiteindelijk gerapporteerde uitkomsten (‘wat hebben we gemeten?’) zijn een voorname bron van vertekening van resultaten (bias).

Een belangrijke rol hierbij spelen de tijdschriftredacties. Die zouden moeten controleren of auteurs zich houden aan de richtlijnen uit CONSORT. Deze trialregistratie vooraf is wettelijk verplicht in de VS en wordt ondersteund door o.a. de WHO. Sinds 2005 stelt het International Committee of Medical Journal Editors (ICMJE) trialregistratie met vooraf gespecificeerde uitkomstmaten als voorwaarde voor acceptatie van artikelen in aangesloten tijdschriften.

Onderzoek naar naleven CONSORT-regels

Nu blijken tijdschriften zich echter in 87% niet aan hun eigen regels te houden. Dit vonden Ben Goldacre en medeonderzoekers in een zeer origineel prospectief onderzoek. Daarin volgden zij op de voet of 5 toptijdschriften bij het publiceren van gerandomiseerde gecontroleerde trials (RCT’s) voldeden aan de Consolidated Standards of Reporting Trials- (of CONSORT)-regels voor transparant publiceren van uitkomstmaten. Deze regels voor uitkomstmaten zijn:

6a	Compleet gedefinieerde vooraf gespecificeerde primaire en secundaire uitkomstmaten, inclusief beschrijving hoe en wanneer deze werden beoordeeld
6b	Alle veranderingen in trialuitkomsten nadat de trial is begonnen, met redenen

De 5 tijdschriften waren: Annals of Internal Medicine, BMJ, JAMA, The Lancet en The New England Journal of Medicine (NEJM). (De CONSORT-regels worden overigens onderschreven door maar liefst 585 tijdschriften.) Binnen het aan Oxford Universiteit verbonden Centre for Evidence-Based Medicine Outcome Monitoring Project (COMPare) onderzochten zij prospectief alle gerandomiseerde gecontroleerde trials (RCT’s) die in de periode 19 oktober-30 november 2015 in de 5 genoemde tijdschriften verschenen. Zij keken of deze voldeden aan de genoemde CONSORT-richtlijnen voor rapportage van RCT’s.

Hoe werd dit onderzocht?

Elke RCT werd geïnspecteerd door één van de onderzoekers. Deze verzamelde de originele publicatie, eventuele bijlagen, de beschrijving in de trialregistratie en het trialprotocol. Vervolgens bekeken ze eerst de vooraf vastgelegde uitkomstmaten en of daar voor de trial begon al veranderingen in aangebracht waren. De recentste uitkomstmaten namen ze op in hun databestand. Vervolgens keken ze in het artikel of:

onderzoekers elke primaire uitkomstmaat rapporteerden;
zij primaire uitkomstmaten als secundaire maten rapporteerden (of omgekeerd);
onderzoekers nieuwe, niet vooraf vastgelegde uitkomstmaten rapporteerden, zonder aan te geven dat het om latere toevoegingen ging.
Een tweede onderzoeker controleerde de bevindingen van de eerste onderzoeker. Deze gegevens werden weer voorgelegd aan de senior onderzoekers, die alles controleerden en verifieerden.

Daarna stuurde het team aan elk tijdschrift een brief waarin de junior en de senior onderzoeker verzochten een correctie te plaatsen voor ongemelde verwisselingen in uitkomstmaten (weggelaten oorspronkelijke of toegevoegde nieuwe uitkomstmaten). Daarbij zorgden ze er nauwlettend voor steeds te reageren binnen de gestelde termijn na verschijnen van een publicatie. Voor The Lancet is dat bijvoorbeeld binnen 2 weken en voor NEJM binnen 3 weken. Gedurende een jaar keken de onderzoekers hoeveel van hun brieven gepubliceerd werden en hoe snel (of beter: hoe traag).

Resultaten

In totaal beoordeelden de onderzoekers 67 RCT’s. Bij 58 (87%) vonden ze discrepanties tussen protocol en verslag die een corrigerende brief nodig maakten. De vooraf vastgelegde primaire uitkomstmaten werden gemiddeld door 76% correct gerapporteerd. Per tijdschrift verschilde dit van 25 tot 96%. De secundaire uitkomsten werden gemiddeld door 55% correct gerapporteerd (dit verschilde per tijdschrift van 31 tot 72%). Per trial waren er gemiddeld 5,4 niet-verklaarde later toegevoegde uitkomsten (uitersten 2,9-8,3).

Hoe ging het met de 58 ingezonden brieven? Hiervan werden er 23 gepubliceerd (40%). Dit varieerde per tijdschrift: JAMA en NEJM publiceerden geen enkele brief; BMJ en Annals publiceerden standaard alle brieven online (als rapid reactions) en The Lancet publiceerde 80% van de brieven. Gemiddeld duurde het 99 dagen (0-257) voordat een redactie een ingezonden publiceerde (dit gold voor ingezondens die niet direct online kwamen).

Alle gegevens over de onderzochte trials en de correspondentie met auteurs en redacties staan op COMPare-trials.org.

Reacties op bevindingen

Interessant is dat de onderzoekers ook uitgebreid ingaan op de reacties die ze kregen van tijdschriftredacties en auteurs. Zo leken niet alle redacties de CONSORT-richtlijnen goed te begrijpen: NEJM vond dat zij zélf kon bepalen welke uitkomsten gemeld moeten worden, volgens de Annals is het toegestaan om de rapportage van uitkomsten te switchen zolang de voornaamste resultaten van een studie maar niet veranderen. Anderen begrepen niet dat het volgens CONSORT wel toegestaan is om andere uitkomsten te vermelden dan vooraf geregistreerd, zolang de auteurs deze veranderingen maar verantwoorden in hun publicatie.

Sommige redacteuren deden denigrerend over de status van trialregisters (‘onbetrouwbaar en irrelevant’). De JAMA-redactie stelde dat trialregisters verantwoordelijk zijn voor discrepanties tussen vooraf vastgelegde uitkomsten en de latere rapportages. Ook suggereerden sommige redacties dat de lezers dit maar zelf zouden moeten achterhalen (Goldacre e.a. kostte dit maar liefst 1 tot 7 uur per studie). De redactie van The Lancet liet helemaal niets van zich horen en liet het aan de auteurs van de betreffende RCT’s over om met een reactie te komen.

Ook grepen sommige redacties naar retorische trucs om onder hun verantwoordelijkheid uit te komen: ze zeiden de doelen van Goldacre e.a. te steunen, geen ruimte te hebben voor dit debat of verklaarden een strenge kwaliteitscontrole erop na te houden – ondanks de gevonden discrepanties. BMJ en Annals plaatsten wél een uitgebreide correctie bij artikelen met fouten.

Voorbeelden

Een eerste voorbeeld van problematische rapportage is een in BMJ gepubliceerd onderzoek naar stepped care bij angst en depressie bij ouderen met een visuele beperking. Volgens Goldacre e.a. rapporteerden de onderzoekers in hun artikel geen enkele van de 8 vooraf gespecificeerde uitkomstmaten. Wel voegden ze 22 nieuwe uitkomstmaten toe – zonder deze te verantwoorden.

Deze auteurs ontliepen vervolgens de discussie op de ingezonden brief van de COMPare-onderzoekers op verschillende manieren: zij stelden dat andere onderwerpen belangrijker zijn, speelden uitgebreid op de man (de COMPare-onderzoekers krijgen weinig bijval of steun van financiers of redacties, ze staan niet open voor discussie, ze steunen de onderzoeksgemeenschap niet en plaatsen zich daarbuiten) en ten slotte spraken ze hun voorkeur uit voor conventionele peer-reviewmethoden.

Een tweede voorbeeld betreft een in The Lancet gepubliceerd onderzoek naar een via internet geleverde interventie om handen wassen te stimuleren om influenza-achtige ziektebeelden en luchtweginfecties terug te dringen. Volgens de COMPare-onderzoekers meldden deze auteurs geen enkele van de 12 vooraf vastgelegde uitkomstmaten, maar ze kwamen wel met 17 niet gemotiveerde nieuwe uitkomsten. Daarnaast hadden ze vooraf een intention-to-treat-analyse aangekondigd, maar ze rapporteerden uitsluitend een per-protocolanalyse.

In een andere ingezonden brief reageerden twee andere auteurs eveneens met verbazing op dit onderzoek wegens de ‘substantiële afwijkingen van het protocol en niet-geplande beslissingen tijdens het beloop van de trial, zoals toevoegen van onderzoeksarmen en veranderen van randomisatiemethode.’ Ook merken deze briefschrijvers op dat ‘de primaire uitkomstmaat niet tevoren gedefinieerd was, maar achteraf gekozen werd op logistieke gronden.’

De auteurs van deze Lancet-studie reageerden met de stelling dat ze wel hun eigen protocol gevolgd hebben, een protocol dat niet online staat en kennelijk afweek van dat in het trialregister. Verder ontkennen zij dat ze primaire uitkomsten niet gemeld zouden hebben en ze stellen dat toegevoegde uitkomstmaten niet verantwoord hoeven te worden. Ook verdedigen ze zich door te stellen dat switchen van uitkomsten geen probleem was omdat al hun uitkomsten zeer statistisch significant waren, hoe ze ook gemeten werden. De rapportage zou ‘in de geest van COMPare zijn’. De COMPare-onderzoekers wijzen er terecht op dat dit de weg vrijmaakt voor manipulatie van bevindingen. De uitsmijter van de Lancet-onderzoekers: ‘trials should not be set in stone’.

Conclusies en verbeterpunten

Goldacre e.a. concluderen dat tijdschriften die in theorie de CONSORT-richtlijnen ondersteunen, dit in de praktijk niet bleken te doen. De redacties weigerden de meerderheid van de correctiebrieven of beschouwden de gemelde tekortkomingen niet als problematisch. Twee tijdschriften weigerden zelfs alle ingezonden brieven hierover.

Als sterkste punt van hun vernieuwende onderzoek noemen de auteurs zelf dat ze prospectief geconstateerde gebreken direct proberen te corrigeren. Daarmee maken ze ook pijnlijk duidelijk hoe redacties met dergelijke peer-review na publicatie omgaan. Doordat de onderzoekers al hun data online publiceerden, bleek ook duidelijk dat ze zelf nauwelijks fouten gemaakt hebben. Slechts 2 coderingsfouten (op een aantal van 756) moesten ze achteraf corrigeren.

In een eerdere systematische review uit 2015 met een vergelijking van geregistreerde en gepubliceerde uitkomsten van RCT’s vond men een percentage van 31% van niet gerapporteerde vooraf vastgelegde primaire uitkomstmaten. Goldacre e.a. concluderen dat het in de toekomst dringend nodig blijft om nog meer te zorgen dat richtlijnen voor publicatie van RCT’s worden nageleefd. Voor onderzoekers is het nuttiger om prospectief en real-time de literatuur te corrigeren, zoals zij zelf ook gedaan hebben. Retrospectief verschenen studies analyseren levert veel minder relevante informatie op.

Verder concluderen zij dat het grote verschil tussen het publieke standpunt en de daadwerkelijke redactionele praktijk duidelijk maakt dat lezers waarschijnlijk ten onrechte een gevoel van vertrouwen zullen hebben. Lezers kunnen er helaas niet van uitgaan dat auteurs alle vooraf gespecificeerde uitkomsten correct rapporteren in onderzoeksartikelen.

De onderzoekers zouden graag zien dat redacties zich houden aan de CONSORT-regels. Redacties moeten ten minste expliciet melden of ze dat inderdaad doen. Ook moeten ze aangeven hoe ze de navolging van CONSORT-regels precies beoordelen.

Verder stellen auteurs dat tijdschriften open moeten staan voor ingezonden brieven over tekortkomingen in artikelen, bij voorkeur in de vorm van onlinereacties. Ook andere beperkingen op ingezonden brieven vinden zij onterecht: lengte, inzendtermijn en publicatietermijn moeten veel vrijer zijn. PubMed Commons noemen ze een goed alternatief.

Al met al vinden wij dit belangrijk en origineel onderzoek. Het toont dat vooral tijdschriftredacties nog veel werk te doen hebben, onder het motto: ‘practice what you preach’.

Artikel over reacties op ingezonden brieven

In een afzonderlijk artikel analyseerden Goldacre e.a. de reacties van auteurs op hun corrigerende brief. Zij delen daarbij de reacties van auteurs in in verschillende categorieën. De voornaamste categorie betreft feitelijke onjuistheden over de vereisten volgens de CONSORT-regels:

Onjuiste beweringen over de vraag of uitkomstmaten vooraf gespecificeerd moeten worden.
Niet erkennen dat het noodzakelijk is om veranderingen in vooraf gespecificeerde uitkomstmaten in het artikel te rapporteren.
Onjuiste beweringen over de rol en de werking van trialregisters.
Vergoelijken van het gelijktijdig bestaan van meerdere van elkaar verschillende beschrijvingen van vooraf vastgelegde uitkomstmaten, bijvoorbeeld door verschillen in trialregister en studieprotocol.
Onjuiste stellingen over het vooraf vastleggen en later rapporteren van dezelfde uitkomstmaten op verschillende tijdstippen.

Daarnaast delen zij de reacties van auteurs in naar gebruikte retorische stijlen:

Afleiding (bijv. stellen dat trials ‘erg zwaar werk’ zijn, noemen van andere onderwerpen die belangrijker zouden zijn, ingaan op andere problemen dan aan de orde of op de man spelen).
Legitimiteit van de discussie in twijfel trekken (bijv. voorkeur voor gewone peer-review i.p.v. post-publicatiepeer-review, twijfel over de aanpak van de COMPare-onderzoekers of toejuichen van hun doelstellingen in het algemeen, maar wel met een voorbehoud komen).
Zich beroepen op vertrouwen in eigen goede bedoelingen (ze wilden de uitkomsten niet manipuleren of ze denken niet dat hun voornaamste bevindingen erdoor beïnvloed werden).
Onjuiste beweringen over eigen uitkomsten (ontkennen van eigen specifieke tekortkomingen of algemene ontkenning).
Technische of retorische ontkenningen (nieuwe uitkomstmaten hoeven niet gemeld te worden, zich beroepen op beperkte ruimte voor rapportage of onjuist weergeven van COMPare-onderzoek).

‘Spindokters’; opgepoetste onderzoeksbevindingen

2 september 202020 november 2013 door Kabos Van der Vliet

‘Spindokters’?

Medisch-wetenschappelijke onderzoekers blijken onderzoeksbevindingen vaak te gunstig voor te stellen in hun artikelen: in 68% van onderzoeksartikelen vonden auteurs van de Universiteit van Oxford een opgepoetste of verdraaide weergave. Bij een kwart was deze vertekening ernstig (JAMA 2010;303:2058-64). Isabelle Boutron en haar medeauteurs verzamelden in PubMed verslagen van gerandomiseerde gecontroleerde trials met een directe vergelijking van twee behandelingen, met statistisch niet-significante bevindingen voor de primaire uitkomstmaten (p ≥ 0,05).

De auteurs definiëren deze vorm van oppoetsen (‘spin’) als ‘specifieke vormen van rapportage, vanuit welk motief dan ook, die de interpretatie van resultaten kunnen verstoren en lezers kunnen misleiden, om te benadrukken dat de experimentele behandeling heilzaam is, ondanks statistisch niet significante verschillen voor de primaire uitkomst, of om lezers af te leiden van de niet-significante uitkomsten’. Zij spreken van ernstige vertekening als onderzoekers ten onrechte geen onzekerheden in hun onderzoek naar voren brengen, hun resultaten niet in het juiste kader plaatsen, niet wijzen op het ontbreken van significantie of aanraden de interventie in de klinische praktijk toe te passen.

Vertekening

Bij 13 (18%) van de 72 artikelen begon de vertekening al in de titel. In de beschrijving van de resultaten in de samenvattingen was er manipulatie bij 27 (37%) en in de conclusies van 42 samenvattingen (58%). In de tekst van het artikel was er vertekening in 21 (29%) van de resultatensecties, in 31 (43%) van de beschouwingen en in 36 (50%) van de conclusies. Meer dan 40% van de artikelteksten vertoonde vertekening in 2 of meer onderdelen. In totaal vertoonden 49 (68%) samenvattingen en 44 teksten (61%) manipulatie in ten minste 1 onderdeel.

Leerzame voorbeelden

Het artikel is leerzaam voor tijdschriftredacties, referenten, auteurs en algemene lezers. Het is een goede oefening in kritisch lezen. Kwalijk is dat de meeste vertekening te vinden was in de samenvatting: vaak is alleen die gratis te raadplegen op internet.

Als beperkingen van dit onderzoek noemen de auteurs dat zij subjectief kunnen zijn in hun beoordeling van manipulatie. Verder keken ze alleen naar niet-significante bevindingen. Onderzoekers zullen zich in deze categorie misschien wat eerder tot het oppoetsen van hun bevindingen laten verleiden. Tot slot konden auteurs niet uitmaken of de manipulatie opzettelijk was of toe te schrijven aan gebrek aan kennis.

Tip: Bekijk vooral de bijlage (onder het kopje ‘Supplemental Content’) bij het artikel met gedetailleerde voorbeelden van de gevonden vormen van manipulatie. Wij geven enkele voorbeelden hieruit in de onderstaande voorbeelden.

Enkele voorbeelden

Misleidende titels

‘De invloed van het overactieve blaassyndroom voor seksueel functioneren; een preliminair rapport van de Multicenter Assessment of Transdermal Therapy in Overactive Bladder with Oxybutynin trial’

Opmerking: auteurs vergelijken oxybutynine-plus-gedragstherapie met alleen oxybutynine. De titel is misleidend omdat die op een ander onderwerp focust.

‘Urinekatheter is misschien niet nodig bij kleine chirurgie onder spinale anesthesie met lang-werkende lokale anesthetica’.

Opmerking: ook deze titel richt zich niet op onderwerp van het onderzoek: vergelijking van 2 anesthesieprotocollen.

Misleidende conclusies

… ‘Hoe dan ook, er waren verbeteringen in middel-heupratio, bloeddruk, en hdl-cholesterol in beide groepen, die of statistisch significant waren of significantie benaderden’

‘De effecten van beide medicijnen zijn gelijk, en er werden geen verschillen tussen beide opgemerkt. Beide middelen reduceren op een statistisch significante manier systolische en diastolische bloeddruk en…..’

Opmerking: focus op de vergelijking binnen de groep en niet op de vergelijking van de twee middelen volgens het studieprotocol; bovendien kan ‘significantie niet benaderd worden’, een verschil is wel of niet significant.

‘Bij patiënten met chronische hepatitis C, heeft een enkele inname van 50 g alcohol geen effect op de leverfunctiewaarden en HCV-RNA-concentraties. Het is daarom een zaak van verder onderzoek of sporadisch drinken van kleine tot gemiddelde hoeveelheden alcohol vermeden moet worden door patiënten met chronische hepatitis C.’

Opmerkingen: dit voorbeeld toont aan hoe ernstig het gebruik van misleidende informatie kan zijn. Deze tekst impliceert nl. dat drankgebruik veilig is voor deze patiënten. Wat de auteurs in deze conclusie in de samenvatting niet vermelden, is dat zij hun onderzoek voortijdig beëindigd hebben wegens ‘futiliteit’. Er waren nl. 5000 patiënten nodig i.p.v. de nu onderzochte 22. En de titel luidde: ‘Een enkele alcoholconsumptie heeft geen invloed op serum hepatitis C-virus-RNA bij patiënten met chronische hepatitis C’.

Richtlijnen voor publiceren

5 april 20218 november 2013 door Kabos Van der Vliet

Kijk eerst naar de richtlijnen

Bij alles wat u wilt publiceren, is het goed vooraf al rekening te houden met voorschriften en regels die daarbij gelden. Uiteraard in de eerste plaats die van het tijdschrift waarin u wilt publiceren, maar van groot belang zijn ook de volgende richtlijnen. Kijk steeds bij het tijdschrift waarin u wilt publiceren welke aanvullende regels de redactie hanteert voor de verschillende rubrieken en onderzoeken.
Klik op het logo om de betreffende richtlijn te openen in een apart venster.

Aanbevelingen van het ICMJE

De aanbevelingen bevatten regels voor onder andere auteurschap, redacteuren en peer review. Verder geven ze ook praktische aanwijzingen voor de aanbieding van het manuscript, de indeling en de lay-out van artikelen. In Nederland worden ze officieel onderschreven door het Nederlands Tijdschrift voor Geneeskunde, maar bijvoorbeeld ook het Tijdschrift voor Psychiatrie en Pharmaceutisch Weekblad volgen deze aanbevelingen.

Zie ook ons bericht over de aanpassingen van de aanbevelingen in de loop van de tijd, met o.a. een nieuwe naam en – vooral van belang – uitbreiding met een vierde criterium voor auteurschap en de aanpassingen over onder andere ethische toetsing, databescherming en transparantie.

Het International Committee of Medical Journal Editors, de opstellers van de ‘bijbel’ voor biomedisch publiceren: de Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals (ICMJE Recommendations)

Andere richtlijnen

Het Equator-netwerk biedt een overzicht van de verschillende richtlijnen voor publiceren. Inmiddels zijn dat er meer dan 200; het is dan ook wel begrijpelijk dat bijvoorbeeld Patrick M. Bossuyt kritische vragen stelde bij de bruikbaarheid van zoveel lijsten. Hij pleitte voor meer oog voor de praktische bruikbaarheid, bijvoorbeeld met artikeltemplates en video-instructie. Naar onze mening zal een gemotiveerde auteur zijn of haar artikel echter alleen maar verbeteren door de betreffende richtlijnen zorgvuldig toe te passen.

Het CONSORT-statement voor RCT’s kunt u het beste raadplegen via het Equator-netwerk (dit biedt alle richtlijnen in één oogopslag).

De PRISMA-regels voor systematische reviews en meta-analyses werden onlangs geheel herzien. Een uitvoerige toelichting vindt u in een artikel in BMJ. Dit ‘PRISMA 2020 Statement’ is een herziene versie van de eerdere regels uit 2009.

PRISMA Statement; bevat regels voor systematische reviews en meta-analyses

De STARD-aanwijzingen (voor onderzoek naar diagnostische accuratesse) zijn in 2015 vernieuwd. In het NTvG vindt u een beknopte bespreking.

http://www.stard-statement.org/ — STARD-statement: aanwijzingen voor onderzoek naar diagnostische accuratesse

Om de kwaliteit van kwalitatief onderzoek te verbeteren, gebruikt u de ‘Consolidated criteria for reporting qualitative research’ (COREQ), te vinden in het International Journal for Quality in Health Care.

Het STROBE-statement geeft richtlijnen voor observationeel onderzoek.

TROBE Statement met criteria voor observationeel onderzoek

De website van de CARE Guidelines bevat niet alleen een checklist, maar biedt ook een onlineapp om betere casuïstische artikelen te schrijven: CARE-writer. Verder op deze site een mooie literatuurlijst voor betere casuïstiek.

In Journal for Clinical Epidemiology gaan Tugwell, Knottnerus en Idzerda in op de CARE-richtlijnen in een Redactioneel. Een – Engelstalig – overzichtsartikel over de richtlijn is te vinden in Deutsches Ärzteblatt international.

CARE Guidelines: richtlijnen voor casusbeschrijvingen