In memoriam John Overbeke: mijn bibliometrisch eerbetoon

Op 23 april overleed prof. dr. John Overbeke, die vanaf 1984 vele jaren zijn talenten inzette voor beter medisch-wetenschappelijk publiceren bij het Nederlands Tijdschrift voor Geneeskunde. John was daarvoor de juiste man op de juiste plaats: hij was een gedreven, nauwgezet en actief arts-redacteur en een betrokken, humoristische en trouwe collega en vriend. Vanaf 1 februari 1990, na een sollicitatiegesprek bij de heren Jacques Lockefeer en Theo Klück, mocht ik als redacteur komen werken bij het Tijdschrift. In dit artikel kijk ik terug op wat ik daar van onder anderen John leerde en welke resultaten hij bereikte bij de verbetering van de kwaliteit van medische vakbladen in het algemeen en van het NTvG in het bijzonder. Vooral de aandacht trokken de vele onderzoeken naar de kwaliteit en effecten van publiceren in het Tijdschrift.

John was opgeleid als chirurg en had in het St. Lucas Ziekenhuis gewerkt als chef de clinique. Sport en vooral voetbal hadden zijn grote belangstelling en hij was actief als medisch adviseur bij Ajax. Als je “telefoondienst” had (medewerkers van het redactiekantoor moesten bij toerbeurt de telefooncentrale bemensen in de middagpauze), kreeg je regelmatig telefoon van bekende trainers.

John Overbeke spreekt dankwoord uit bij ontvangen van Donderspenning, bij 150-jarig jubilem NTvG in Concertgebouw Amsterdam, 6 januari 2007
John spreekt dankwoord uit bij ontvangen van de Donderspenning, bij het 150-jarig jubileum van het NTvG in het Concertgebouw in Amsterdam, 6 januari 2007.

Verder regelde John de kantoorautomatisering op het redactiekantoor, met het prettige systeem van Wang. Toen het Tijdschrift meer ruimte nodig had en vanuit de Jan Luykenstraat ging verhuizen naar de Johannes Vermeerstraat, begeleidde John de renovatie/verbouwing van het pand. In samenwerking met architect en binnenhuisarchitect leidde dat tot een stijlvol geheel. Behalve de huisvesting werden ook internationale contacten goed onderhouden. Het NTvG werd lid van het International Committee of Medical Journal Editors (ICMJE), dat met zijn richtlijnen voor publiceren veel bijdroeg aan de verbetering van de biomedische publicatiepraktijk. Later was John tevens lid van de World Association of Medical Editors (WAME), waarvan hij ook voorzitter is geweest.

Na het betrekken van de nieuwe “zetel der vereniging” stimuleerde John de redacteuren om deel te nemen aan de activiteiten van WERK, de Wetenschappelijke-Eindredacteurenkring. Deze zorgde voor bijscholing en enthousiaste bijeenkomsten. Op het NTvG verzorgde de redactie verder halfjaarlijks een schrijfcursus voor artsen in opleiding tot specialist en op onregelmatige basis was er de cursus Wetenschappelijk schrijven in het Engels door John Kirkman en collega’s.

Samen met John hield ik een lezing over medische terminologie voor medisch bibliothecarissen, in de Erasmus Universiteit Rotterdam. John vertelde over de verdere standaardisering van termen met oog op artikelontsluiting en ik legde uit hoe de redacteuren bij het NTvG omgingen met medische spelling. Uiteraard hadden we de presentatie goed gerepeteerd. Een geslaagd optreden en een gezellig uitje. Nadat ik met arts-stagiair Shailindra Mahesh had bijgedragen aan een van de bibliometrische NTvG-onderzoeken, gingen we verder met schrijven van referaten en nieuwsberichten. John juichte dat toe.

John was niet vreemd van perfectionisme en hij had zijn documentatie dan ook altijd keurig op orde; zijn hele kamer straalde orde en netheid uit. “Het zal wel op de databank liggen” was een gevleugeld gezegde op het redactiekantoor: de designbank op Johns kamer die vol mappen, ordners en documentatie lag. De medewerkers waardeerden John om zijn humor en zijn grote persoonlijke betrokkenheid. John bleef trouw aan zijn mensen: jaren nadat we bij het Tijdschrift vertrokken waren, hielden wij goed mailcontact en zagen elkaar regelmatig in Grand Café Eerste Klas in Amsterdam.

Bibliometrie

John maakte, in samenwerking met andere uitvoerend hoofdredacteuren zoals Jacques Lockefeer en Peter Hart en wetenschappelijk eindredacteur Henk Walvoort, veel werk van bibliometrisch onderzoek naar medisch-wetenschappelijk publiceren. Dit was een mooie uitdaging voor de arts-stagiairs die de hoofdredactie telkens een halfjaar kwamen ondersteunen. In totaal publiceerden zij (tot 2006) zo’n 26 onderzoeksartikelen. Mede dankzij zijn inzet voor en inbreng bij deze publicaties werd John in 2000 benoemd tot hoogleraar Medisch-wetenschappelijke verslaglegging aan de Radboud Universiteit Nijmegen. Het Tijdschrift kon op deze manier het belang van publiceren in Nederlandse wetenschappelijke tijdschriften met een extern beoordelingssysteem tijdens een Tijdschriftconferentie met evidence onderstrepen. Ook in andere artikelen benadrukten o.a. Bouter en Knottnerus het belang van publiceren in het Nederlands. Ik bespreek de opvallendste onderzoeken.

John.Overbeke bij het aanvaarden
van de bijzondere leerstoel aan de
Katholieke Universiteit Nijmegen. (Foto uit De derde vijftig, jubileumuitgave NTvG.)
John tijdens uitspreken van zijn inaugurele rede (Wie wil blijven, moet schrijven. Medisch-wetenschappelijk publiceren: uitdaging of verplichting?) bij het aanvaarden van de bijzondere leerstoel aan de Katholieke Universiteit Nijmegen, 16 juni 2000 (foto uit De derde vijftig, jubileumuitgave van het NTvG).

Kwaliteit peerreview en redactionele bewerking

Een van de opvallendste onderzoeken was gericht op de kwaliteit van de peerreview en de redactionele bewerking van onderzoeksartikelen in het NTvG. Dit onderzoek werd eerst in The Lancet gepubliceerd. Eerste auteur Jean-Pierre Pierie met Walvoort en Overbeke benaderden 100 (aankomende) artsen om drie versies van in totaal 50 onderzoeksartikelen te beoordelen: het aangeboden manuscript, het voor publicatie geaccepteerde artikel (na peerreview) en het uiteindelijk gepubliceerde artikel (na redactionele bewerking). De beoordelaars (25 studenten, 25 basisartsen, 25 huisartsen en 25 specialisten) kregen voor hun deelname een boekenbon (hoofdredacteur Ad Dunning bij de presentatie van het onderzoek: “Het duurste onderzoek ooit door een arts-stagiair op het redactiekantoor uitgevoerd.”) De resultaten waren erg positief voor de referenten en het redactieteam. In de peerreviewfase verbeterde volgens de scores van de beoordelaars de kwaliteit van 14 van de 23 onderdelen (61%) significant, waarbij vooral de algehele verslaglegging en de algemeen-medische waarde verbeterden. De redactionele bewerking gaf verbetering van 11 van de 16 onderdelen (69%), waarbij de stijl (p = 0,0001) en de leesbaarheid (p = 0,004) sterk verbeterden. Ad Dunning: “Ja Martin, jij lacht hierom, maar er zijn maar weinig mensen die kunnen zeggen dat statistisch significant is aangetoond dat hun werk zinvol is.”

Cees Kan, Lockefeer en Overbeke beschreven dat het afwijzingspercentage van aangeboden artikelen in 1990 38% was. De grootste kans op aanvaarding hadden medisch specialisten en auteurs uit universitaire centra; in 1997 was dat percentage 36%. Eerder zagen Harry Koene en Overbeke dat van de manuscripten die door het NTvG werden afgewezen, 60% later elders werd gepubliceerd.

Martha Tjon Fo Sang als eerste auteur keek samen met Overbeke en Lockefeer naar de kwaliteit van de peerreview. Zij gingen voor 60 onderzoeksartikelen na hoe referenten deze beoordeelden. Elk artikel werd ook naar een tweede adviseur met dezelfde deskundigheid gestuurd. Aan de hand van in totaal 16 kwaliteitselementen beoordeelde de hoofdredactie de manuscripten ook zelf. Vervolgens vergeleken de auteurs alle adviezen met deze beoordeling.

De adviseurs van het NTvG beantwoordden in dit onderzoek in afnemende frequentie vragen van de hoofdredactie over de volgende onderwerpen: geschiktheid voor publicatie, praktisch (wetenschappelijk) belang, illustraties, tabellen, methodologie, lengte van het artikel en literatuurverwijzingen. Verder gingen zij in hun advies in op aspecten van een tweede lijst, in afnemende frequentie: presentatie van de resultaten, opzet van het onderzoek, validiteit van de conclusie(s), doelstelling, methode, onderzoeksgroep(en), leesbaarheid van het manuscript, duidelijkheid van de samenvatting en lay-out daarvan zoals het NTvG die wenst (gestructureerde samenvatting). De auteurs concludeerden dat de adviseurs van de redactie slechts een gering deel van de gebreken in manuscripten over het hoofd hadden gezien.

In een overzichtsartikel hielden Bouke de Jong en Overbeke een enquête onder 43 (oud-)redacteuren en 34 externe adviseurs van de hoofdredactie. Uit deze enquête bleek dat respondenten de meeste factoren die de subjectiviteit bevorderen van weinig invloed op hun oordeel achtten. In deze enquête werden slechts hun meningen getoetst, niet hun werkwijze. De referenten besteedden gemiddeld 2,1 (1,1-4,2) uur aan het beoordelen van één artikel. Van de 73 referenten beoordeelden 66 tevens artikelen voor gemiddeld 4 (1-25) andere tijdschriften.

Peerreview ná publicatie

Niet onvermeld mag blijven het onderzoek naar ingezonden brieven met Shailindra Mahesh als eerste auteur, waaraan ik meedeed als tweede auteur, met Walvoort en Overbeke. Uiteraard voldeed ik aan alle criteria voor auteurschap (zoals later onderzocht door eerste auteur Wendela Hoen) en we zorgden voor een gestructureerde samenvatting. Henk Walvoort bewees de waarde van een eindredacteur als medeauteur door de beschouwing tot leesbare proporties terug te brengen. Het idee van dit onderzoek was dat ingezonden brieven te beschouwen zijn als een vorm van peerreview ná publicatie. Bij onze analyse van 196 in één jaar verschenen ingezonden brieven (die in die periode ook nog geredigeerd werden voor ze in het papieren nummer werden afgedrukt) bleek dat de schrijvers in 8 gevallen fouten in een artikel in het Tijdschrift hadden ontdekt; 6 maal had dit publicatie van een verbetering tot gevolg.

John leefde mee met de debuterende auteurs toen deze publicatie verscheen: “Spannend hé, benieuwd of er ingezonden brieven op zullen komen.”

Auteurschap

Op het onderzoek naar auteurschap van Wendela Hoen e.a. reageerden 352 auteurs. De 5 positiefst beantwoorde vragen betroffen de toen geldende ICMJE-criteria: 86% van de auteurs antwoordde de ingezonden versie kritisch gelezen te hebben, 85% keurde de te publiceren versie goed, 75% was betrokken bij de opzet van het onderzoek, 64% bij het bedenken van het onderzoek en 63% bij het (her)schrijven van het artikel; 1% meldde geen enkele bijdrage te hebben geleverd. Gemiddeld gaven auteurs zichzelf op 2 vragen méér een positieve score dan hun medeauteurs hun gaven. 64% voldeed aan de ICMJE-criteria, terwijl 60% deze criteria niet expliciet kende. Respondenten klaagden erover dat klinisch werk niet met een auteurschap wordt beloond. De conclusie was dat de richtlijnen voor auteurschap onvoldoende bekend waren. In de praktijk werd er wel goed aan voldaan. Ze hielpen niet bij het vaststellen van de auteursvolgorde.

Rozemarijn van Duursen onderzocht samen met Hart en Overbeke het percentage vrouwelijke artsen die publiceren in het NTvG (1948-1998). Dit artikel verscheen in 2000, toen was het percentage geregistreerde vrouwelijke artsen 37%, en in 1998 was 57% van de artsen in opleiding tot specialist van het vrouwelijk geslacht.

In de eerste 4 onderzochte jaargangen (1948, 1958, 1968 en 1978) was 3-5% van het totaal aantal auteurs van het vrouwelijk geslacht; dit steeg naar 10% in 1988 en naar 21% in 1998. Van het totale aantal artsen was het percentage vrouwelijke artsen die per jaargang bijdroegen aan minimaal één artikel in 1948 en 1958 0,7% (resp. 5 en 9 auteurs); dit steeg naar 1,4% (211 auteurs) in 1998. Het percentage mannelijke artsen die per jaargang minimaal één artikel publiceerden, schommelde in 1958-1998 tussen de 2,4% (471 auteurs) en 3,1% (325 auteurs). Het gemiddeld aantal auteurs per artikel nam toe van 1,2 in 1948 naar 3,3 in 1998.

Van Duursen en collega’s concludeerden dat het aantal vrouwelijke auteurs geleidelijk steeg in de afgelopen 50 jaar. Het percentage vrouwelijke artsen die bijdroegen aan ten minste één artikel in het NTvG verdubbelde in de onderzochte jaargangen, terwijl het percentage mannelijke artsen min of meer hetzelfde bleef. Ze stellen dat: “vrouwelijke artsen ook in Nederland bezig [lijken] te zijn aan een inhaalrace op wetenschappelijk gebied.”

Naarmate succesvolle Nederlandse medisch-wetenschappelijk onderzoekers hoger scoorden in de internationale tijdschriften ontstond de vrees dat deze groep minder in het Tijdschrift zou publiceren. Uit het onderzoek van twee artsen-stagiairs, Jacobien Veenemans en John Hoogeveen, en Overbeke, bleek dat niet het geval te zijn. Een duidelijke meerderheid van veelschrijvende auteurs van artikelen in hoog geciteerde tijdschriften leverde ook bijdragen aan het NTvG. Verder was 77% van 87 eerste auteurs van oorspronkelijke stukken in het NTvG (mede)auteur van ten minste 1 internationale publicatie. De auteurs concludeerden: “Veelschrijvende auteurs van artikelen in hooggeciteerde internationale tijdschriften schreven ook artikelen in het NTvG, en omgekeerd schreven auteurs van NTvG-artikelen ook artikelen in internationale tijdschriften.”

John Overbeke bij 15-jarig jubileum van het NTvG.
John bij het 150-jarig jubileum van het NTvG.

Dubbelpublicaties

Het onderzoek met Hans Barnard als eerste auteur naar dubbelpublicaties verdient de hoofdprijs voor de spannendste slotzin: ‘Als ook effect van dit voorstel uitblijft, kan misschien veroordeling van frauderende auteurs tot het vuurpeloton, zoals in 1916 de Amerikaanse legerarts in Engelse dienst James Shearer overkwam, heroverwogen worden (overigens werd die straf niet ten uitvoer gebracht).’

Barnard en Overbeke vonden dat van de maar liefst 172 onderzoeksartikelen die het NTvG destijds in 1 jaar publiceerde, er 23 eerder in een ander tijdschrift gepubliceerd waren; in 14 gevallen hadden de auteurs dit niet gemeld bij het NTvG (niet-reglementaire dubbelpublicatie, wetenschappelijk een ernstige zonde). Barnard werkt nu als archeologisch onderzoeker aan de universiteit van Californië, en verblijdde de redactie vaak met spannende reisbrieven uit o.a. Egypte.

In 1999 werd dit onderzoek herhaald: van de 148 onderzoeksartikelen die in 1996 verschenen in het NTvG, waren er 23 eerder elders gepubliceerd. Bij 10 gebeurde dit zonder vermelding (onreglementaire dubbelpublicatie). De auteurs concludeerden: “Vergelijking van dit meldingsgedrag met dat van [Barnard en Overbeke] leerde dat het aandeel correct gemelde dubbelpublicaties was toegenomen van 22 naar 73%.”

Noot van de schrijver: er is niets tegen gemelde/gevraagde dubbelpublicatie. Het vertalen en aanpassen van een artikel voor Nederlandse artsen kan zeer nuttig zijn, en redacties hebben hiertegen geen enkel bezwaar. Ook vallen de indrukwekkende aantallen onderzoeksartikelen op; dit was duidelijk een bloeiperiode van het Tijdschrift. In het afgelopen jaar (april 2020 tot mei 2021) verschenen 37 onderzoeksartikelen in het NTvG, waarvan 10 gemelde dubbelpublicaties

Referenties en kwaliteit

Referenties in te publiceren artikelen kregen speciale aandacht bij het Tijdschrift. Toen ik begon bij het Tijdschrift controleerde kopijvoorbereider Margreet Brilman alle referenties aan de hand van de papieren uitgave van de Index Medicus: per jaargang 6 tot 10 dikke boeken, waarin je in de index de auteurs kon opzoeken, waarna je in de hoofdtekst de volledige referentie kon vinden. Margreet paste deze dan zo nodig aan volgens de regels. Toen nog geen PubMed, EndNote, Mendeley of Zotero.

Eerste auteur Van Ieperen deed met Overbeke en Hart een onderzoek naar onderzoeksartikelen in de periode 1949-1999. In 1949 ontbrak bij 53% een beschrijving van de toegepaste methoden, in 1959 bij 44% en in 1999 was dat slechts bij 2% het geval. De meeste onderzoeken met een methodebeschrijving waren retrospectief van opzet; het percentage prospectieve onderzoeken kwam nooit boven de 25. In 1959 waren er in 84% van de artikelen 1 tot 2 auteurs per artikel, in 1999 in 53% van de gevallen 5 of meer, met een maximum van 16. Medisch studenten waren in 1959 nog geen coauteur, maar in 1999 bij 13% van de artikelen. Gerandomiseerd en prospectief onderzoek was vooral afkomstig uit universitaire afdelingen, het retrospectieve uit algemene ziekenhuizen.

Eerste auteur Sjoerd Hobma controleerde samen met Overbeke de kwaliteit van referenties in aangeboden en gepubliceerde onderzoeksartikelen. Bij de aangeboden artikelen zaten in 70 van de verwijzingen één of meer fouten. Van de gepubliceerde verwijzingen was 31 niet geheel correct. Ernstiger was dat Hobma en Overbeke vonden dat bij 1 op de 3 artikelen sprake was van inhoudelijk onjuist citeren: 5 maal werd een kleine fout gevonden, 16 maal een enigszins misleidende fout en 12 maal werd de informatie niet gevonden of bleek deze wezenlijk te verschillen van die in het geciteerde artikel. Als voorbeeld van een ernstig misleidende fout noemen de auteurs: “Anderen vonden eveneens dat (…) de vrije insulinespiegels, (…).” In het geciteerde artikel zijn echter geen vrije insulinespiegels maar C-peptide-waarden gemeten.

Effecten van publicaties

Andere interessante zaken waar de redactie erg benieuwd naar was, betroffen de aandacht die publicaties in het NTvG kregen in kranten, hoeveel effect ze hebben op de klinische praktijk en hoeveel respons auteurs krijgen op hun artikel. Bianca van Maldegem schreef als eerste auteur drie artikelen hierover.

Uit een enquête onder auteurs die in 1994 een bijdrage hadden geleverd, bleek dat vrijwel alle artikelen (n = 165) effect hadden gehad, zoals benadering van de auteurs door lezers (97%), uitnodigingen voor voordrachten (40%), gebruik van gegevens door anderen (38%), patiëntverwijzingen en plannen voor verder onderzoek (33%). Op 20% volgde een ingezonden brief en 14% van de auteurs kreeg vragen van de pers.

In een tweede artikel keek dezelfde auteur naar het effect van drie klinische lessen met een specifieke boodschap. Bij 2 klinische lessen was geen invloed te vinden (mogelijk door ontbreken van gegevens), maar bij de derde was er een significante toename van het aantal aanvragen (van 50 naar 90 in de 3 maanden na de publicatie).

Op de vraag: “Staan we in de krant?” probeerden Van Maldegem en Overbeke antwoord te geven in een derde artikel. Hiervoor gebruikten zij gedurende 6 maanden een knipselkrant van het ministerie van VWS (die volgens een ingezonden brief van journalist Wim Köhler geen 100% bereik heeft). Ze vonden in totaal 34 berichten naar aanleiding van 27 artikelen, waarvan 21 over publicaties uit The New England Journal of Medicine, en 15 uit het NTvG. Daarbij kwamen kanker en aids het meest aan bod. Belangrijk voor het NTvG was dat redacties ook gebruik bleken te maken van Nederlandstalige tijdschriften zoals het NTvG.

John als promotor

Als hoogleraar begeleidde John de promotie van Arjen Hoogendam, die het proces van wetenschappelijk publiceren van de andere kant benaderde: van de ‘eindgebruiker’, de arts die met een patiënt in de spreekkamer snel de laatste stand van zaken op PubMed probeert te achterhalen. De bevindingen van Hoogendam in zijn proefschrift Evidence-based searching at the point of care zijn zeer relevant voor de praktijk. We volstaan hier met lezing van de Nederlandstalige samenvatting (vanaf pag. 148) van harte aan te bevelen.

Uit al deze publicaties moge duidelijk zijn dat John grote betekenis heeft gehad voor het Tijdschrift en voor medisch-wetenschappelijk publiceren in Nederland. Ook na zijn pensionering bleef John de ontwikkelingen op dit bijzondere gebied nauwgezet volgen en wisten de media hem vaak te vinden. We missen in hem een markante persoonlijkheid, een gedreven vakman en een goede en bovenal trouwe vriend.

Op de website van het NTvG verscheen op 4 mei een In memoriam voor John.

Aanbevelingen ICMJE: alle aanpassingen

Logo ICMJE

De belangrijkste richtlijnen voor publiceren die gelden bij het schrijven en aanbieden van een medisch-wetenschappelijk artikel vindt u in de aanbevelingen (tot 2013 ‘uniforme voorschriften’) van het International Committee of Medical Journal Editors, het ICMJE.

Ze bevatten regels voor onder andere auteurschap, redacteuren en peer review. Verder geven ze praktische aanwijzingen voor de aanbieding van het manuscript, de indeling en de lay-out van artikelen. In Nederland worden ze officieel onderschreven door het NTvG en ook het Tijdschrift voor Psychiatrie en Pharmaceutisch Weekblad volgen deze aanbevelingen. Wij geven een overzicht van de belangrijkste wijzigingen in de loop van de tijd

Aanpassingen 2019

De aanpassingen van december 2019 zijn licht. Er springen enkele punten uit. Zie de geannoteerde pdf (2019) voor een snel overzicht.

Auteursvolgorde. Voor alle duidelijkheid is nu expliciet toegevoegd dat auteurs onderling moeten beslissen als er meningsverschillen zijn over de volgorde van auteurs; dus niet de tijdschriftredactie.

Strijdige belangen. De mededeling van strijdige belangen of zaken die daarbij mogelijk meespelen, moet transparant zijn. De lezer moet zelf kunnen beoordelen of een mogelijk belang van invloed zou kunnen zijn op wat de auteur meldt. Ook al wijst een mogelijke relatie of activiteit niet direct op problemen voor de inhoud van een artikel, de perceptie van een belangenconflict kan net zozeer het vertrouwen in de wetenschap ondermijnen als een werkelijk belangenconflict. De naam van deze sectie wordt dan ook uitgebreid: ‘Vermelding van financiële en niet-financiële relaties en activiteiten en strijdige belangen’.

Diversiteit en inclusie. Om de academische cultuur te verbeteren, moeten redacteuren ernaar streven een breed en divers scala aan te trekken van auteurs, reviewers, redactiemedewerkers en leden van de redactieraad, én lezers.

Assistentie peerreview. Als reviewers zich laten bijstaan door assistenten of adviseurs, dienen zij dit te melden bij de redactie. Uiteraard vallen deze assistenten ook onder de geheimhoudingsplicht.

Trialregistratie. Toestemming voor een onderzoek, gegeven door een onafhankelijke plaatselijke of zelfs landelijke medisch-ethische commissie of instantie, kan niet dienen als vervanging van de verplichte trialregistratie.

‘Roofreferenties’. Auteurs moeten geen referenties opnemen naar roof- of pseudotijdschriften.

Aanpassingen 2018

Eind december 2018 vernieuwde het ICMJE opnieuw zijn aanbevelingen. In de geannoteerde pdf (2018) ziet u snel de belangrijkste aanpassingen. Deze betreffen:

– De expliciete regel dat het doelbewust niet vermelden van strijdige belangen opgevat wordt als wetenschappelijk wangedrag.

– De aanmaning dat de tijdschriftredactie zorgvuldiger dient om te gaan met peerreview van manuscripten van personen betrokken bij redactionele beslissingen van het betreffende tijdschrift.

Relativering belang impactfactor. Het ICMJE wil dat redacties minder focussen op de impactfactor van hun blad en stelt dat ‘de impactfactor breed misbruikt wordt als surrogaatmaat voor de kwaliteit van onderzoek en tijdschrift’. Het ICMJE ziet liever dat men een brede mix van artikel- en tijdschriftmetrics gebruikt.

Publicatie op pre-printservers: wanneer auteurs hun werk willen publiceren op een pre-printserver, raadt het ICMJE aan servers te gebruiken die duidelijk onderscheid maken tussen manuscripten die wel en niet peerreview ondergingen. Ook moeten auteurs zorgen dat de achtereenvolgende versies herkenbaar opgenomen zijn en ze moeten redacties informeren dat hun werk op zo’n server staat.

– Publicatie bij zaken met direct en groot belang voor de volksgezondheid: auteurs die belangrijke gegevens snel publiek beschikbaar maken, moeten met voorrang kunnen publiceren in tijdschriften.

Aanpassingen 2017

Eind december 2017 verscheen weer een aangepaste versie van de ICMJE-aanbevelingen. In de geannoteerde pdf (2017) zijn alle aanpassingen snel te bekijken.

Roofbladen. De passage over ‘predatory’ of pseudotijdschriften werd uitgebreid, met de nuttige waarschuwing dat je als auteur pas ná acceptatie te horen krijgt dat je moet betalen voor de publicatie. Verder waarschuwt het ICMJE dat de namen van deze flutbladen vaak erg lijken op die van echte tijdschriften en dat ze vaak claimen lid te zijn van het ICMJE, WAME of COPE (wat ze uiteraard niet zijn). Ook hebben ze geen ‘peer review’. Auteurs moeten hier zelf voor opletten; WAME heeft goede informatie over het herkennen van deze roofzuchtige ‘redacties’.

– Bij de medisch-ethische toetsing komt de verklaring van Helsinki op de eerste plaats te staan, gevolgd door medisch-ethische toetsing door lokale, regionale of landelijke onafhankelijke instellingen, zoals de medisch-ethische commissies. Dit moet duidelijk verantwoord worden in de methodesectie van een artikel.

– Delen van resultaten in trialregistratie is de verantwoording van auteurs, niet van het tijdschrift. Auteurs zijn verantwoordelijk voor het deugdelijk rapporteren van resultaten in trialregistraties, en voor het verklaren van eventuele verschillen tussen de weergave van resultaten in trialregistraties en die in tijdschriftpublicaties.

Delen van data. Het ICMJE breidt de passage over het delen van data flink uit, met de aanpassingen zoals beschreven in het redactioneel uit juni 2017 (zie de volgende paragraaf). Vanaf juli 2018 geldt voor onderzoeksartikelen een verplichte verklaring over het delen van data. Deze verklaring moet onder meer bevatten: een nauwkeurige beschrijving van hoe en op welke wijze de data gedeeld worden, welke data precies beschikbaar zijn en of er aanvullende gegevens beschikbaar zijn. Auteurs van secundaire data-analyses (bijv. meta-analyses) die gedeelde data gebruiken, moeten goed aangeven waar zij deze vandaan halen en moeten ook duidelijk aangeven waardoor hun bevindingen afwijken van eerdere analyses. Degenen die de data oorspronkelijk genereerden en beschikbaar stelden, dienen daarvoor gepaste credits te krijgen (ere wie ere toekomt) en het ICMJE stelt dat secundaire bewerkingen zo veel mogelijk samen met de primaire auteurs uitgevoerd moeten worden.

Data delen

In juni 2017 publiceerden leden van het ICMJE een redactioneel in o.a. Annals of Internal Medicine met een voorstel voor een geleidelijke uitbreiding van het delen van data voor klinische trials. Per 1 juli 2018 moeten ingediende manuscripten over klinische trials een verklaring over de toegankelijkheid van de data bevatten. Voor klinische trials waarbij patiënten geïncludeerd worden vanaf 1 januari 2019 moeten auteurs bij de trialregistratie een ‘data sharing plan’ indienen.

Aanpassingen 2016

Sinds januari 2016 geeft het ICMJE uitgebreide richtlijnen over het delen van onderzoeksdata (zie hierover het overzichtsartikel in het NTvG). In december 2016 heeft het ICMJE de richtlijnen uitgebreid op het punt van retractaties, correctie en herziening van gegevens in onderzoeksartikelen en correct gebruik van terminologie inzake gender en sekse. Aanpassingen zijn te zien in een geannoteerde pdf-versie van de ICMJE-richtlijnen.

Aanpassingen 2014

In december 2014 verscheen een aangepaste versie van de ICMJE-aanbevelingen. Deze wijzigingen richten zich vooral op de volgende punten:

Onafhankelijkheid. Auteurs moeten ervoor zorgen dat in overeenkomsten met sponsors (profit en non-profit) de volledige toegang tot de complete data voor auteurs gegarandeerd is. Ook moeten de auteurs de data geheel onafhankelijk kunnen analyseren en interpreteren en het manuscript volkomen onafhankelijk kunnen bewerken en publiceren, waar en wanneer zij zelf verkiezen.

Ethische toetsing. Bij onderzoek met mensen moeten auteurs aangeven dat de medisch-ethische commissie (MEC) van hun instelling de procedures in het onderzoek heeft beoordeeld en goedgekeurd. Als er geen MEC is, dient het onderzoek te voldoen aan de eisen in de Verklaring van Helsinki. Bij twijfel dient de MEC van de instelling naar specifieke aspecten te kijken. Toestemming van deze commissie ontslaat redacties niet van de plicht om zelf te beoordelen of het onderzoek medisch-ethisch solide is.

Voorpublicatie. De ICMJE beschouwt publicatie van resultaten in een trialregister niet als ‘ongeoorloofde dubbelpublicatie’ indien het om een kort abstract van de voornaamste resultaten gaat, waarbij de grens van maximaal 500 woorden niet wordt overschreden.

Discussie. Wetenschappelijke discussies over en kritiek op publicaties moeten door redacties worden aangemoedigd.

Kosten?  Tijdschriftredacties moeten helder zijn over hun inkomsten en moeten duidelijk vermelden of en zo ja, welke vergoedingen zij van auteurs vragen. Auteurs moeten hier kennis van kunnen nemen voor zij aan hun manuscript beginnen of voor zij het insturen.

Data. Indien de onderzoeksgegevens in een publiekelijk toegankelijke database zijn opgeslagen, dient dit aan het einde van de samenvatting vermeld te worden (met naam van de dataset, nummer en internetadres).

Methode. De methodesectie dient dermate duidelijk en gedetailleerd te zijn dat deze replicatie van het onderzoek mogelijk maakt. Indien een organisatie betaald of ingeschakeld is om het onderzoek te verrichten (bijvoorbeeld om de data te verzamelen of te analyseren), dient dit in de methodesectie beschreven en verantwoord te worden. Ook dient de toestemming van de MEC genoemd te worden in deze sectie, evenals de andere genoemde medisch-ethische overwegingen.

Referenties. Redacteuren, referenten of auteurs mogen verwijzingen naar literatuur niet gebruiken om hun eigen belangen te promoten.

Openheid. Indien er twijfels of zorgen zijn uitgesproken over het onderzoek door het betrokken onderzoeksinstituut of door toezichthouders, dienen de auteurs in hun aanbiedingsbrief aan de redactie laatstgenoemde hierover te informeren. Dit geldt ook indien corrigerende actie is aangeraden.

In de geannoteerde versie van de in december 2014 vernieuwde ICMJE-richtlijnen kunt u alle wijzigingen snel bekijken.

Aanpassingen 2013

In augustus 2013 heeft het ICMJE een nieuwe versie van de ‘uniforme voorschriften’ gepubliceerd. De voorschriften hebben een nieuwe naam gekregen: “ICMJE Recommendations for the Conduct, Reporting, Editing and Publication of Scholarly Work in Medical Journals” (afgekort als “ICMJE Recommendations”). Hiermee wil het ICMJE benadrukken dat het om meer gaat dan alleen regels voor het opstellen en insturen van manuscripten.

Vierde criterium voor auteurschap

De belangrijkste verandering is het toevoegen van een 4de criterium voor auteurschap.

Voor auteurschap gelden nu de volgende 4 eisen:

  • een aanzienlijke bijdrage hebben geleverd aan ontwerp en opzet, of het verkrijgen van gegevens, of analyse en interpretatie van gegevens EN
  • het concept van het artikel hebben bedacht of de wetenschappelijke inhoud ervan kritisch hebben beoordeeld EN
  • de uiteindelijke te publiceren versie hebben gelezen en goedgekeurd EN
  • verklaren verantwoordelijk te zijn voor alle aspecten van het werk door te verzekeren dat vragen die te maken hebben met de juistheid en de betrouwbaarheid van alle delen van het werk afdoende zijn onderzocht en opgelost.

De vierde toevoeging krijgt als toelichting: “Auteurschap houdt niet alleen in credits voor het werk, maar ook verantwoordelijkheid”. Het vierde criterium moet tegengaan dat auteurs zich aan hun verantwoordelijkheid voor het hele artikel onttrekken (“Dat gedeelte heb ik niet geschreven of dat deel van het onderzoek heb ik niet uitgevoerd, vraag maar iemand anders”). Het ICMJE formuleert treffend:

“Als er vragen rijzen over een aspect van een onderzoek of publicatie, hebben alle auteurs de plicht hiernaar onderzoek te doen en het probleem op te lossen. Door het auteurschap te accepteren, accepteert een auteur dat elk probleem dat te maken heeft met de publicatie, per definitie ook zijn of haar probleem is.”

Dit 4de criterium lijkt ons erg nuttig. Wij adviseren auteurs om vooral de laatste versie van de originele Engelstalige ICMJE-aanbevelingen te raadplegen (vertaalde versies kunnen verouderd zijn).

Practice what you preach? Medische toptijdschriften houden zich niet aan CONSORT-regels

CONSORT: horen, zien, zwijgen?
Foto door ‘2554813’, gevonden op pixabay.com

Hoe maken we de medische onderzoeksliteratuur zo betrouwbaar mogelijk? Veel richtlijnen voor publiceren van medisch-wetenschappelijk onderzoek zijn erop gericht om manipulatie van uitkomsten tegen te gaan. Verschillen tussen vooraf vastgelegde uitkomstmaten (‘wat gaan we meten?’) in gepubliceerde protocollen en trialregisters en uiteindelijk gerapporteerde uitkomsten (‘wat hebben we gemeten?’) zijn een voorname bron van vertekening van resultaten (bias).

Een belangrijke rol hierbij spelen de tijdschriftredacties. Die zouden moeten controleren of auteurs zich houden aan de richtlijnen uit CONSORT. Deze trialregistratie vooraf is wettelijk verplicht in de VS en wordt ondersteund door o.a. de WHO. Sinds 2005 stelt het International Committee of Medical Journal Editors (ICMJE) trialregistratie met vooraf gespecificeerde uitkomstmaten als voorwaarde voor acceptatie van artikelen in aangesloten tijdschriften.

Onderzoek naar naleven CONSORT-regels

Nu blijken tijdschriften zich echter in 87% niet aan hun eigen regels te houden. Dit vonden Ben Goldacre en medeonderzoekers in een zeer origineel prospectief onderzoek. Daarin volgden zij op de voet of 5 toptijdschriften bij het publiceren van gerandomiseerde gecontroleerde trials (RCT’s) voldeden aan de Consolidated Standards of Reporting Trials- (of CONSORT)-regels voor transparant publiceren van uitkomstmaten. Deze regels voor uitkomstmaten zijn:

6aCompleet gedefinieerde vooraf gespecificeerde primaire en secundaire uitkomstmaten, inclusief beschrijving hoe en wanneer deze werden beoordeeld
6bAlle veranderingen in trialuitkomsten nadat de trial is begonnen, met redenen

De 5 tijdschriften waren: Annals of Internal Medicine, BMJ, JAMA, The Lancet en The New England Journal of Medicine (NEJM). (De CONSORT-regels worden overigens onderschreven door maar liefst 585 tijdschriften.) Binnen het aan Oxford Universiteit verbonden Centre for Evidence-Based Medicine Outcome Monitoring Project (COMPare) onderzochten zij prospectief alle gerandomiseerde gecontroleerde trials (RCT’s) die in de periode 19 oktober-30 november 2015 in de 5 genoemde tijdschriften verschenen. Zij keken of deze voldeden aan de genoemde CONSORT-richtlijnen voor rapportage van RCT’s.

Hoe werd dit onderzocht?

Elke RCT werd geïnspecteerd door één van de onderzoekers. Deze verzamelde de originele publicatie, eventuele bijlagen, de beschrijving in de trialregistratie en het trialprotocol. Vervolgens bekeken ze eerst de vooraf vastgelegde uitkomstmaten en of daar voor de trial begon al veranderingen in aangebracht waren. De recentste uitkomstmaten namen ze op in hun databestand. Vervolgens keken ze in het artikel of:

  • onderzoekers elke primaire uitkomstmaat rapporteerden;
  • zij primaire uitkomstmaten als secundaire maten rapporteerden (of omgekeerd);
  • onderzoekers nieuwe, niet vooraf vastgelegde uitkomstmaten rapporteerden, zonder aan te geven dat het om latere toevoegingen ging.
    Een tweede onderzoeker controleerde de bevindingen van de eerste onderzoeker. Deze gegevens werden weer voorgelegd aan de senior onderzoekers, die alles controleerden en verifieerden.

Daarna stuurde het team aan elk tijdschrift een brief waarin de junior en de senior onderzoeker verzochten een correctie te plaatsen voor ongemelde verwisselingen in uitkomstmaten (weggelaten oorspronkelijke of toegevoegde nieuwe uitkomstmaten). Daarbij zorgden ze er nauwlettend voor steeds te reageren binnen de gestelde termijn na verschijnen van een publicatie. Voor The Lancet is dat bijvoorbeeld binnen 2 weken en voor NEJM binnen 3 weken. Gedurende een jaar keken de onderzoekers hoeveel van hun brieven gepubliceerd werden en hoe snel (of beter: hoe traag).

Resultaten

In totaal beoordeelden de onderzoekers 67 RCT’s. Bij 58 (87%) vonden ze discrepanties tussen protocol en verslag die een corrigerende brief nodig maakten. De vooraf vastgelegde primaire uitkomstmaten werden gemiddeld door 76% correct gerapporteerd. Per tijdschrift verschilde dit van 25 tot 96%. De secundaire uitkomsten werden gemiddeld door 55% correct gerapporteerd (dit verschilde per tijdschrift van 31 tot 72%). Per trial waren er gemiddeld 5,4 niet-verklaarde later toegevoegde uitkomsten (uitersten 2,9-8,3).

Hoe ging het met de 58 ingezonden brieven? Hiervan werden er 23 gepubliceerd (40%). Dit varieerde per tijdschrift: JAMA en NEJM publiceerden geen enkele brief; BMJ en Annals publiceerden standaard alle brieven online (als rapid reactions) en The Lancet publiceerde 80% van de brieven. Gemiddeld duurde het 99 dagen (0-257) voordat een redactie een ingezonden publiceerde (dit gold voor ingezondens die niet direct online kwamen).

Alle gegevens over de onderzochte trials en de correspondentie met auteurs en redacties staan op COMPare-trials.org.

Reacties op bevindingen

Interessant is dat de onderzoekers ook uitgebreid ingaan op de reacties die ze kregen van tijdschriftredacties en auteurs. Zo leken niet alle redacties de CONSORT-richtlijnen goed te begrijpen: NEJM vond dat zij zélf kon bepalen welke uitkomsten gemeld moeten worden, volgens de Annals is het toegestaan om de rapportage van uitkomsten te switchen zolang de voornaamste resultaten van een studie maar niet veranderen. Anderen begrepen niet dat het volgens CONSORT wel toegestaan is om andere uitkomsten te vermelden dan vooraf geregistreerd, zolang de auteurs deze veranderingen maar verantwoorden in hun publicatie.

Sommige redacteuren deden denigrerend over de status van trialregisters (‘onbetrouwbaar en irrelevant’). De JAMA-redactie stelde dat trialregisters verantwoordelijk zijn voor discrepanties tussen vooraf vastgelegde uitkomsten en de latere rapportages. Ook suggereerden sommige redacties dat de lezers dit maar zelf zouden moeten achterhalen (Goldacre e.a. kostte dit maar liefst 1 tot 7 uur per studie). De redactie van The Lancet liet helemaal niets van zich horen en liet het aan de auteurs van de betreffende RCT’s over om met een reactie te komen.

Ook grepen sommige redacties naar retorische trucs om onder hun verantwoordelijkheid uit te komen: ze zeiden de doelen van Goldacre e.a. te steunen, geen ruimte te hebben voor dit debat of verklaarden een strenge kwaliteitscontrole erop na te houden – ondanks de gevonden discrepanties. BMJ en Annals plaatsten wél een uitgebreide correctie bij artikelen met fouten.

Voorbeelden

Een eerste voorbeeld van problematische rapportage is een in BMJ gepubliceerd onderzoek naar stepped care bij angst en depressie bij ouderen met een visuele beperking. Volgens Goldacre e.a. rapporteerden de onderzoekers in hun artikel geen enkele van de 8 vooraf gespecificeerde uitkomstmaten. Wel voegden ze 22 nieuwe uitkomstmaten toe – zonder deze te verantwoorden.

Deze auteurs ontliepen vervolgens de discussie op de ingezonden brief van de COMPare-onderzoekers op verschillende manieren: zij stelden dat andere onderwerpen belangrijker zijn, speelden uitgebreid op de man (de COMPare-onderzoekers krijgen weinig bijval of steun van financiers of redacties, ze staan niet open voor discussie, ze steunen de onderzoeksgemeenschap niet en plaatsen zich daarbuiten) en ten slotte spraken ze hun voorkeur uit voor conventionele peer-reviewmethoden.

Een tweede voorbeeld betreft een in The Lancet gepubliceerd onderzoek naar een via internet geleverde interventie om handen wassen te stimuleren om influenza-achtige ziektebeelden en luchtweginfecties terug te dringen. Volgens de COMPare-onderzoekers meldden deze auteurs geen enkele van de 12 vooraf vastgelegde uitkomstmaten, maar ze kwamen wel met 17 niet gemotiveerde nieuwe uitkomsten. Daarnaast hadden ze vooraf een intention-to-treat-analyse aangekondigd, maar ze rapporteerden uitsluitend een per-protocolanalyse.

In een andere ingezonden brief reageerden twee andere auteurs eveneens met verbazing op dit onderzoek wegens de ‘substantiële afwijkingen van het protocol en niet-geplande beslissingen tijdens het beloop van de trial, zoals toevoegen van onderzoeksarmen en veranderen van randomisatiemethode.’ Ook merken deze briefschrijvers op dat ‘de primaire uitkomstmaat niet tevoren gedefinieerd was, maar achteraf gekozen werd op logistieke gronden.’

De auteurs van deze Lancet-studie reageerden met de stelling dat ze wel hun eigen protocol gevolgd hebben, een protocol dat niet online staat en kennelijk afweek van dat in het trialregister. Verder ontkennen zij dat ze primaire uitkomsten niet gemeld zouden hebben en ze stellen dat toegevoegde uitkomstmaten niet verantwoord hoeven te worden. Ook verdedigen ze zich door te stellen dat switchen van uitkomsten geen probleem was omdat al hun uitkomsten zeer statistisch significant waren, hoe ze ook gemeten werden. De rapportage zou ‘in de geest van COMPare zijn’. De COMPare-onderzoekers wijzen er terecht op dat dit de weg vrijmaakt voor manipulatie van bevindingen. De uitsmijter van de Lancet-onderzoekers: ‘trials should not be set in stone’.

Conclusies en verbeterpunten

Goldacre e.a. concluderen dat tijdschriften die in theorie de CONSORT-richtlijnen ondersteunen, dit in de praktijk niet bleken te doen. De redacties weigerden de meerderheid van de correctiebrieven of beschouwden de gemelde tekortkomingen niet als problematisch. Twee tijdschriften weigerden zelfs alle ingezonden brieven hierover.

Als sterkste punt van hun vernieuwende onderzoek noemen de auteurs zelf dat ze prospectief geconstateerde gebreken direct proberen te corrigeren. Daarmee maken ze ook pijnlijk duidelijk hoe redacties met dergelijke peer-review na publicatie omgaan. Doordat de onderzoekers al hun data online publiceerden, bleek ook duidelijk dat ze zelf nauwelijks fouten gemaakt hebben. Slechts 2 coderingsfouten (op een aantal van 756) moesten ze achteraf corrigeren.

In een eerdere systematische review uit 2015 met een vergelijking van geregistreerde en gepubliceerde uitkomsten van RCT’s vond men een percentage van 31% van niet gerapporteerde vooraf vastgelegde primaire uitkomstmaten. Goldacre e.a. concluderen dat het in de toekomst dringend nodig blijft om nog meer te zorgen dat richtlijnen voor publicatie van RCT’s worden nageleefd. Voor onderzoekers is het nuttiger om prospectief en real-time de literatuur te corrigeren, zoals zij zelf ook gedaan hebben. Retrospectief verschenen studies analyseren levert veel minder relevante informatie op.

Verder concluderen zij dat het grote verschil tussen het publieke standpunt en de daadwerkelijke redactionele praktijk duidelijk maakt dat lezers waarschijnlijk ten onrechte een gevoel van vertrouwen zullen hebben. Lezers kunnen er helaas niet van uitgaan dat auteurs alle vooraf gespecificeerde uitkomsten correct rapporteren in onderzoeksartikelen.

De onderzoekers zouden graag zien dat redacties zich houden aan de CONSORT-regels. Redacties moeten ten minste expliciet melden of ze dat inderdaad doen. Ook moeten ze aangeven hoe ze de navolging van CONSORT-regels precies beoordelen.

Verder stellen auteurs dat tijdschriften open moeten staan voor ingezonden brieven over tekortkomingen in artikelen, bij voorkeur in de vorm van onlinereacties. Ook andere beperkingen op ingezonden brieven vinden zij onterecht: lengte, inzendtermijn en publicatietermijn moeten veel vrijer zijn. PubMed Commons noemen ze een goed alternatief.

Al met al vinden wij dit belangrijk en origineel onderzoek. Het toont dat vooral tijdschriftredacties nog veel werk te doen hebben, onder het motto: ‘practice what you preach’.

Artikel over reacties op ingezonden brieven

In een afzonderlijk artikel analyseerden Goldacre e.a. de reacties van auteurs op hun corrigerende brief. Zij delen daarbij de reacties van auteurs in in verschillende categorieën. De voornaamste categorie betreft feitelijke onjuistheden over de vereisten volgens de CONSORT-regels:

  1. Onjuiste beweringen over de vraag of uitkomstmaten vooraf gespecificeerd moeten worden.
  2. Niet erkennen dat het noodzakelijk is om veranderingen in vooraf gespecificeerde uitkomstmaten in het artikel te rapporteren.
  3. Onjuiste beweringen over de rol en de werking van trialregisters.
  4. Vergoelijken van het gelijktijdig bestaan van meerdere van elkaar verschillende beschrijvingen van vooraf vastgelegde uitkomstmaten, bijvoorbeeld door verschillen in trialregister en studieprotocol.
  5. Onjuiste stellingen over het vooraf vastleggen en later rapporteren van dezelfde uitkomstmaten op verschillende tijdstippen.

Daarnaast delen zij de reacties van auteurs in naar gebruikte retorische stijlen:

  1. Afleiding (bijv. stellen dat trials ‘erg zwaar werk’ zijn, noemen van andere onderwerpen die belangrijker zouden zijn, ingaan op andere problemen dan aan de orde of op de man spelen).
  2. Legitimiteit van de discussie in twijfel trekken (bijv. voorkeur voor gewone peer-review i.p.v. post-publicatiepeer-review, twijfel over de aanpak van de COMPare-onderzoekers of toejuichen van hun doelstellingen in het algemeen, maar wel met een voorbehoud komen).
  3. Zich beroepen op vertrouwen in eigen goede bedoelingen (ze wilden de uitkomsten niet manipuleren of ze denken niet dat hun voornaamste bevindingen erdoor beïnvloed werden).
  4. Onjuiste beweringen over eigen uitkomsten (ontkennen van eigen specifieke tekortkomingen of algemene ontkenning).
  5. Technische of retorische ontkenningen (nieuwe uitkomstmaten hoeven niet gemeld te worden, zich beroepen op beperkte ruimte voor rapportage of onjuist weergeven van COMPare-onderzoek).

Prikkelend publiceren moet juist niet

Foto 'prikkelende' kat
Photo credit: Jorbasa / Foter / CC BY-ND

Think twice; of bezint eer ge begint…

Wanneer u als wetenschapper meer aandacht wilt voor uw werk, kunt u zich beter richten op duidelijk en informatief schrijven dan dat u zich op het risicovolle pad van de humor en de beeldspraak begeeft. Uiteindelijk gaat het om prikkelende resultaten en niet om ‘pakkende’ titels. Vermijd clichés, onduidelijkheden of dubbelzinnigheden en modieuze termen, wees duidelijk, informatief en kernachtig. Een goed ingezette alliteratie maakt een titel veel krachtiger: ‘Onvoltooid en ongepubliceerd onderzoek: verspilling en vertekening‘ (Tijdschrift voor Psychiatrie). Artikelen met goede titels blijken eerder gepubliceerd te worden dan die met slechte, zo bleek uit Noors onderzoek.

Henk Walvoort, toen eindredacteur van het Nederlands Tijdschrift voor Geneeskunde, waarschuwde ooit: ‘Pseudo-geestige titels verandert de redactie altijd, alleen al omdat die de indruk zouden kunnen wekken dat men zich vermaakt met het lijden van patiënten.’ Een paar sprekende voorbeelden om zijn betoog te onderbouwen: ‘Diabeten met nefropathie in Nederland: hoe zoet zijn de toekomstdromen?’ en ‘Liever alle duiven van de hand dan door één geen lucht’.

Of die terughoudendheid nu ook nog opgaat voor het NTvG is de vraag. In een Redactioneel (“Ortholexia nervosa“) lezen we: “fruitariërs, quinoavreters of calorisch beperkten hebben er namelijk een handje van hun voedselobsessie te delen via sociale media”. De ondertitel van een artikel over niet-alcoholische leververvetting: ‘een lijvige epidemie’. En een artikel over delier na een overdosis en onttrekking baclofen werd op het omslag zo aangekondigd:

Pislink na baclofen; Cover NTvG 2016 nr. 30
Cover NTvG 2016 nr. 30

Prikkelend publiceren?

Onder de titel ‘Prikkelend publiceren moet’ schrijft Ronald Veldhuizen in de Volkskrant van 4 februari 2015 over biomedische wetenschappers die een groot bereik zoeken voor hun ontdekkingen. Een manier om dat te bereiken is ‘prikkelend schrijven’. Vandaar het voorbeeld van de ‘ludieke’ titel ‘Will the real multiple sclerosis please stand up’…

Deze titel illustreert vooral op pijnlijke wijze de bezwaren tegen grappig bedoelde titels: in de eerste plaats spreekt het voor zich dat MS een ernstige ziekte is, met grote gevolgen voor patiënten. Daarom geldt hier de waarschuwing van Walvoort: laat (pogingen tot) humor achterwege, want u wilt toch niet de indruk wekken dat u zich amuseert met of ten koste van het leed van patiënten? De onderstaande reactie van de partner van een patiënt met MS is dan ook zeer begrijpelijk – en dat was vast niet wat de auteurs voor ogen hadden.

Begrijpelijke reactie van partner van patiënt met MS
Begrijpelijke reactie van partner van patiënt met MS

In de tweede plaats: welke winst wilt u behalen met zo’n manke vorm van beeldspraak? Een ziekte die moet opstaan? Maar geloof het of niet, vele ‘prikkelende’ schrijvers gingen deze auteurs al voor: in PubMed vind je ruim 120 titels die variëren op dit thema. Daarbij is de titel van een betoog over ghostwriters een van de weinige geslaagde: Will the real author please stand up!

Woordspeling in titels verláágt bereik

Inmiddels is ook aangetoond dat woordspelingen en grappig bedoelde titels het bereik van academische publicaties op de korte termijn juist verlágen. Taalkundige Gwilym Lockwood, verbonden aan het Max Planck Intituut te Nijmegen, onderzocht voor 2 jaargangen artikelen uit Frontiers in Psychology of effectbejag in titels het bereik op korte termijn vergroot. Hij mat dit af met ‘altmetrics’. Dit is het geheel van metingen om na te gaan of artikelen het algemene publiek bereiken, via media-aandacht, delen in social media, aantal keren dat een pagina bekeken wordt of een artikel gedownload wordt, etc. Hij onderscheidde de volgende technieken in de titels:

  • Positieve framing van de resultaten, bijv. “smoking causes lung cancer” en “vaccines do not cause autism”. Neutrale titels zouden zijn: “the relationship between smoking and lung cancer” of “an investigation into whether vaccines cause autism”. Verder onderscheidde hij een interessant onderwerp en een interessant geformuleerde titel.
  • Lengte van de titel, gebruik van een vraagteken en woordspelingen in de titel.

Hij bepaalde met 2 collega’s welke technieken in de titels gebruikt werden en hij stelde de altmetrics-score voor alle artikelen vast. Zijn resultaten vatte hij samen in een fraaie figuur.

Altmetrics-score titels
Altmetrics-score titels: gebruik van positieve framing en interessante formulering verhogen het bereik, woordspelingen verlagen het en vragen verhogen het enigszins.

De woordspelingen hebben dus een averechts effect op het kortetermijnbereik van artikelen. Dat vormt nog een extra argument om het niet te doen. De vragen vergroten het bereik wel enigszins, maar hiervoor geldt de ”wet van Betteridge”: elke titel die eindigt met een vraag kunnen we beantwoorden met ‘nee’.

Tot slot geeft Lockwood een goed advies in zijn conclusie. Hij stelt dat op internet de lokkertjes om een titel te delen steeds minder goed werken: mensen herkennen het patroon en trappen er niet meer in. Academici kunnen overwegen om hun resultaten positief te framen en titels interessanter te formuleren om het kortetermijnbereik te verhogen, maar het belangrijkste blijft: probeer vooral uw onderzoek echt interessant te maken.

To be or not to be?

In 2005 beschreef Neville Goodman in het kerstnummer van BMJ een inventarisatie van literaire en andere toespelingen in biomedische titels. Ook hij waarschuwde al voor clichés en averechts effect. Goodman merkte op dat zulke ‘speelse’ titels vooral boven opiniërende artikelen zoals redactionelen en commentaren stonden en nauwelijks boven onderzoeksartikelen.

Vooral gevleugelde woorden van Shakespeare bleken favoriet, bijvoorbeeld variaties op ‘What is in a name? That which we call a rose. By any other name would smell as sweet’ (Romeo en Julia). Goodman vond honderden titels die varieerden op dit thema, vaak over naamgeving en classificaties van ziektes. Bijvoorbeeld: ‘What is in a name? That which we call a rose. By any other name would smell as sweet”: towards resolving ambiguity in the TNM Classification for Lung Cancer’. Wie dit ‘prikkelend publiceren’ vindt, mag het zeggen. Bovendien leveren de eerste 19 woorden geen enkele inhoudelijke informatie; weg ermee dus.

In 2005 vond Goodman al ruim 350 variaties op ‘Back to the future’. De teller staat in 2015 al op meer dan 800! De fraaiste vondst van Goodman is een combinatie van twee verwijzingen in één titel: ‘Mentorship – is it a case of the emperor’s new clothes or a rose by any other name?’ Spreek ook niet te snel van een paradigmaverschuiving (‘paradigma shift’): Goodman vond er in 2005 al 378 en inmiddels schuiven we op naar 1114.

 Geslaagde voorbeelden

Veldhuizen verwijst terecht ook naar een wel geslaagde klassieker. De titel van een klinische les uit het NTvG: ‘Van de koele meren des doods. Pseudomonas in het ziekenhuis’. Geslaagd en origineel, deze mooie literaire verwijzing en niet beledigend voor een patiënt. Een moderne variant biedt de revistische titel ‘Liever ‘oud en eenzaam’ dan ‘depressief’’.

Medisch-wetenschappelijke links

Hier vindt u een aantal links naar nuttige sites en bespreken we kort opmerkelijke artikelen over medisch-wetenschappelijk publiceren.

Medisch-wetenschappelijke links

Veelschrijvers

Auteurs die iedere 5 dagen een artikel publiceren? Sommigen 2 jaar op rij, anderen zelfs 4 jaar achter elkaar. John P.A. Ioannidis e.a. onderzochten hoe dit kan en beschrijven hun bevindingen in Nature. Veel van deze hyperactieve auteurs werken in de biomedische wetenschappen. Zo produceerden Rotterdamse wetenschappers die werkten aan de Rotterdam studie en de opvolger ervan, de Generation R-studie, letterlijk duizenden publicaties. De vraag is natuurlijk hoe dergelijke auteurschappen ooit zouden kunnen voldoen aan de 4 criteria van het ICMJE: de auteur moet een rol spelen in het bedenken, of uitvoeren van de experimenten of het verwerken van de resultaten; moet helpen het manuscript te schrijven of te reviseren; moet de gepubliceerde versie goedkeuren; en neemt verantwoordelijkheid voor de inhoud van het artikel.
Uit een enquête die Ioannidis e.a. hielden onder de betrokken auteurs bleek dat degenen die hierop antwoordden, in de meeste gevallen niet voldeden aan de ICMJE-criteria. Sommigen gaven toe de artikelen zelfs niet eens gelezen te hebben.
Het kan gaan om hoogwaardige wetenschappelijke publicaties, maar de bevindingen roepen in ieder geval veel vragen op over auteurschap en de naleving van de criteria voor toewijzing daarvan. In De Volkskrant schrijft Stan van Pelt: ‘Om de publicatiedrift te doorbreken is het beter als er helemaal niet meer gekeken wordt naar het aantal publicaties van onderzoekers, is Ioannidis’ voorstel. Frank Miedema en Marijtje Jongsma zijn het met hem eens. Miedema: ‘Hier moeten we vanaf. Het moet alleen nog maar om inhoudelijke kwaliteit gaan: wat heeft al dat onderzoek aan inzichten opgeleverd?”

Bibliometrie

Mooi overzicht van de ontwikkelingen in de bibliometrie (‘journalology’) in Science: de 82-jarige oud-hoofdredacteur van de JAMA, Drummond Rennie, concludeert dat veel vooruitgang is geboekt: eind jaren 60 waren artikelen volgens hem belachelijk slecht (‘anekdotes over anekdotes’). Nu is er meer transparantie, meer registratie van onderzoeken en o.a. het ICMJE en CONSORT stimuleren de kwaliteit van publicaties. Toch moeten we blijven ‘knijpen in de ballon’, want onderzoek waar een luchtje aan zit, zoekt altijd wel een uitweg
.

Jaaroverzicht wetenschappelijke uitgevers

Op zoek naar een goed overzicht over wetenschappelijk publiceren? De International Association of Scientific, Technical and Medical Publishers publiceerde 9 oktober 2018 de 50ste editie van het STM-rapport ‘An overview of scientific and scholarly publishing’. Goed om te weten dat de gezamenlijke Engelstalige wetenschappelijke uitgevers in 2017 naar schatting 10 miljard dollar winst maakten (in 2008 nog 8 miljard), bij een geschatte omzet van 25,7 miljard dollar. Medische informatie is goed voor 13 miljard dollar omzet. Naar schatting werken er zo’n 110.000 mensen in de uitgeefwereld, van wie 40% in de EU. Daarnaast zijn er 20-30.000 freelancers actief voor de uitgevers. In totaal zijn er 33.100 wetenschappelijke gepeer-reviewde Engelstalige tijdschriften actief en  maar liefst 9400 niet-Engelstalige. Samen publiceren die meer dan 3 miljoen artikelen per jaar.
Onderzoekers lazen 250 artikelen per jaar, medici lezen iets meer, hun collega’s in de geesteswetenschappen en de sociale wetenschappen  iets minder. De gemiddelde leestijd per artikel is wat teruggelopen, tot iets meer dan 30 minuten.
De opstellers van het rapport bezien de opkomst van preprints en preprintservers met enige zorg: dit kan een potentiële bedreiging zijn voor hun businessmodellen.

Video’s

En nog een video: Joost Drenth, jarenlang hoofdredacteur van het NTvG, geeft een interessante presentatie over wetenschappelijk publiceren. Aanbevolen.

  • YouTube-video van de redactie van BMJ, waarin zij aanwijzingen geven hoe je als auteur de kans op publicatie kunt vergroten.
  • Bent u gevraagd als referent voor een biomedisch tijdschrift? Gefeliciteerd! In de gids Peer review: the nuts and bolts vindt u een praktische introductie. Geschreven door jonge onderzoekers, tijdschriftredacteuren, journalisten en medewerkers van onderzoeksorganisaties. Dit is een uitgave van de Britse organisatie Sense about Science, die werkt aan beter begrip van wetenschap bij het algemene publiek: ‘making sense of scientific and medical claims in public discussion’.

    Diverse links

  • Schrijft u mee aan een systematische review? Nodig dan vooral een bibliothecaris of andere informatiespecialist uit als coauteur. Zulke medeauteurs dragen bij aan een significant hogere kwaliteit van de literatuurzoekactie. De zoekactie wordt beter gedocumenteerd – en daardoor beter reproduceerbaar – en de review als geheel voldoet aan meer kwaliteitscriteria. Op die manier kunt u bias beperken.
  • Schrijft u mee aan een oorspronkelijk artikel? In deze presentatie over de IMRAD-structuur vindt u een aantal vragen die iedere auteur zich zou moeten stellen.
  • Wat is een goede titel? De hoofdredacteur van Journal of the Norwegian Medical Association legt het helder uit. De beste titel beschrijft met zo weinig mogelijk woorden zo duidelijk mogelijk de inhoud van het artikel. In hetzelfde tijdschrift verscheen ook een kort onderzoek over de voorspellende waarde van de titel – voor acceptatie van een artikel. Meer over ‘pakkende’ titels in onze bijdrage ‘Prikkelend publiceren moet juist niet‘.
  • In de JAMA verscheen in maart 2014 een beknopt overzicht van 15 jaar International Congress on Peer Review and Biomedical Publication: van de ruim 600 abstracts leidden er bijna 300 tot een publicatie. De auteurs concluderen dat ondanks de grote invloed op biomedisch publiceren, de methoden van peer review nog steeds te weinig onderzocht worden. In een bijbehorend redactioneel bespreken Rennie en Flanagin het onderzoek naar peer review en publiceren, onder het motto: ‘voortzetting van de zoektocht naar kwaliteitsverbetering van onderzoeksverslaglegging’. In hetzelfde nummer ook een vergelijking van de gegevens van geregistreerde trials met de uiteindelijke publicaties, met de conclusie: ‘er is ruimte voor verbetering’. Daarnaast een onderzoek naar afgebroken gerandomiseerde gecontroleerde trials (RCT’s). Een kwart van de RCT’s werd afgebroken, meestal door slechte werving  van deelnemers. De RCT’s met als sponsor de farmaceutische industrie en grotere trials werden minder vaak voortijdig afgebroken. Eventuele resultaten van afgebroken RCT’s vinden we minder vaak terug in wetenschappelijke tijdschriften.
  • De Engelstalige internationale editie van Deutsches Ärzteblatt begon in 2009 met een serie over het beoordelen van wetenschappelijke artikelen en methodologie. Inmiddels omvat de serie 20 artikelen, waarin experts op zeer toegankelijke wijze opzet van publicaties en methoden bespreken.
  • Het NTvG is bezig met het publiceren van een reeks over methodologie.
  • Goede redactionele bewerking verbetert aantoonbaar de kwaliteit van teksten. Dit bleek uit een van de weinige onderzoeken naar het effect van de gezamenlijke inspanningen van hoofdredactie, referenten en redacteuren van het NTvG. De conclusie luidde: ‘De redactionele bewerking gaf verbetering van 11 van de 16 onderdelen, waarbij de stijl en de leesbaarheid sterk verbeterden’. Dit artikel vormde ook onderdeel van een cochrane-review naar het effect van technische redactionele bewerking. Auteurs Wager en Middleton vonden niet veel onderzoek hiernaar. Toch kunnen zij concluderen dat er “enig bewijs is dat het ‘pakket’ van technisch redigeren bij biomedische tijdschriften de artikelen verbetert.”
  • The Lancet publiceerde eerder twee nuttige artikelen over kwalitatief medisch-wetenschappelijk onderzoek.
  • Een leerzaam artikel in JAMA legde de vinger op de te rooskleurige voorstelling van niet-significante onderzoeksbevindingen in gerandomiseerde gecontroleerde trials (zie ons bericht hierover). In de bijlage van dit artikel vindt u fraaie voorbeelden; leerzaam voor auteurs en redacteuren.
  • Een vervolg op dit artikel in PLOS Medicine illustreert hoe de begeleidende persberichten de bevindingen nog verder oppoetsen. Leerzaam voor wetenschapsjournalisten, redacteuren en auteurs.
  • Een interessante site over wetenschappelijk publiceren is The Scholarly Kitchen (‘What’s hot and cooking in scholarly publishing’). De site is een initiatief van de Society for Scholarly Publishing.
  • Groepsauteurschap: in steeds meer artikelen zien we een groep als medeauteur. Dit kan onduidelijkheid geven: zijn de leden van de groep ook echt auteurs? Of wordt het artikel mede ”namens de groep” geschreven? Wie zich in de regels hierover wil verdiepen, verwijzen we graag naar de CSE Recommendations for Group-Author Articles in Scientific Journals and Bibliometric Databases.

Schrijven van een wetenschappelijk artikel

Schrijven en plannen

Schrijven van een wetenschappelijk artikel: een lastige klus? (Ante Timmermans - Make a Molehill out of a Mountain (of Work); Manifesta 9, Genk, 2012)
Ante Timmermans: Make a Molehill out of a Mountain (of Work); Manifesta 9, Genk, 2012

Hoe begin je met het schrijven van een wetenschappelijk artikel? Hoe ziet de planning eruit en waarmee begin je? En hoe ga je om met twijfels: kan ik dit wel en heb ik wel genoeg te melden? Of juist: hoe krijg ik al mijn informatie in zo’n kort artikel? Patricia Gonce Morton, hoogleraar aan de University of Maryland School of Nursing, Baltimore, geeft in 2 praktische artikelen in AACN Advanced Critical Care schrijfadviezen aan beginnende auteurs.

Publishing in Professional Journals, Part I: Getting Started

Publishing in Professional Journals, Part II: Writing the Manuscript

Schrijfadviseur Tim Albert pakt het weer anders aan: hij geeft in British Journal of Hospital Medicine (2017) 8 vragen om over na te denken vóór je aan een artikel begint. De eerste is: ‘Waarom zou ik dit artikel schrijven?’ Want: ‘Wat levert mij dat op?’ Zie je meer voor- dan nadelen? Ga dan enthousiast aan de slag en maak er wat moois van. Daarna volgen praktische vragen zoals: Hoe maak je er tijd voor? Wanneer begin je met schrijven? Wie worden mijn medeauteurs? Minder voor de hand liggend vonden we zijn vragen ‘Hoe weet je dat je genoeg onderzoek hebt gedaan?’ en ‘Begin je met de titel?’

De vraag ‘naar welk tijdschrift?’ is essentieel: kies een realistisch doel en richt je artikel daarop. Met andere woorden: bestudeer het tijdschrift en de richtlijnen voor auteurs zorgvuldig en pas je artikel daar ook echt op aan: werkwoordstijden, stijl, indeling, indeling van tabellen en figuren en format van literatuurreferenties.

Serie over effectief schrijven en publiceren

Daarnaast verscheen in Journal of Clinical Epidemiology een serie instructieve artikelen over effectief schrijven van wetenschappelijke artikelen, én publiceren ervan. De auteurs, Daniel Kotz en Jochen Cals, zijn verbonden aan Maastricht University. Deze serie is niet speciaal op een bepaald tijdschrift gericht, maar is bedoeld om álle auteurs te helpen. Elk artikel is heel praktisch van opzet en geeft steeds antwoord op twee vragen: wat u moet weten en wat u moet doen. Ook zij geven eerst praktische tips voor het opstarten. Daarna volgen ze mooi de indeling van een oorspronkelijk artikel en tot slot vullen ze het geheel aan met antwoorden op vragen zoals: hoe kies je een goed tijdschrift en hoe communiceer je met redacties en referenten? De serie artikelen is vergelijkbaar met het boek van de NTvG-redactie, Het schrijven van een medisch-wetenschappelijk artikel (waarvan wij de eindredactie verzorgden).

Beide auteurs geven ook een tweedaagse cursus over schrijven en publiceren.

Goed nieuws is dat zij deze serie artikelen inmiddels ook gepubliceerd hebben in het Nederlands, in het Vlaamse huisartsenblad Huisarts Nu. Hier vindt u de links naar alle artikelen, die volledig vrij toegankelijk zijn:

  1. Het begin
  2. Titel en abstract
  3. Inleiding
  4. Methoden
  5. Resultaten
  6. Discussie
  7. Tabellen en figuren
  8. Referenties
  9. Auteurschap
  10. Tijdschriftkeuze
  11. Een artikel indienen
  12. Reageren op referentencommentaar