Hoe zeker zijn wetenschappelijke resultaten waar we dagelijks over lezen? En waarom horen we zo weinig over onderzoek dat eerdere studies controleert of herhaalt? Het Nationaal Expertisecentrum Wetenschap en Samenleving (NEWS) en het Netherlands Reproducibility Network (NLRN) werken samen om die vragen te beantwoorden en reproductie en replicatie een grotere rol te geven in zowel het onderzoek als de wetenschapscommunicatie.
De ene dag lees je over een nieuwe borstkankerbehandeling en de andere dag in het journaal dat er een nieuwe diersoort is ontdekt. De kans dat je dagelijks een nieuwsbericht over een wetenschappelijke ontdekking voorbij ziet komen, is vrij groot. De ene ontdekking is lijkt in die berichten nog grootser of belangrijker dan de andere. Daardoor kun je de wetenschap als nietsvermoedende lezer al snel gaan zien als een aaneenschakeling van doorbraken.
Een goed wetenschappelijk onderzoek hoort echter niet alleen maar nieuwe inzichten te brengen. Zo beschreven filosofen als Karl Popper bijvoorbeeld dat wetenschap draait om herhaling, twijfel en het proberen te falsificeren van bevindingen. Het is daarvoor belangrijk dat onderzoekers de analyse kunnen herhalen (reproductie) of zelfs (delen van) een heel onderzoek (replicatie). Experts zouden graag zien dat reproductie en replicatie een grotere rol krijgen in zowel de wetenschap als in de communicatie daarover. Om dat voor elkaar te krijgen, hebben NEWS en het NLRN de handen ineengeslagen.
Basisbeginselen vaak ondergewaardeerd
Reproductie- en replicatieonderzoeken krijgen weinig waardering van wetenschappelijke tijdschriften. ‘Er zijn tijdschriften die van tevoren al zeggen dat ze artikelen alleen publiceren als ze “nieuw” en “origineel” onderzoek beschrijven,’ vertelt Michiel de Boer, voorzitter van het NLRN. Het netwerk zet zich in om het doen van reproduceerbaar en transparant onderzoek in Nederland te bevorderen, Daarom stimuleren ze uitwisseling en samenwerking tussen kennisinstellingen en andere organisaties. Alles om ervoor te zorgen dat onderzoeken zo worden uitgevoerd en beschreven, dat collega-wetenschappers ze kunnen nadoen en controleren.
‘Eigenlijk is dat een basisbeginsel van de wetenschap, maar toch zien we in de praktijk dat wetenschappelijke artikelen te weinig informatie bevatten om echte replicatie of reproductie mogelijk te maken,’ zegt Michiel. Volgens hem ontbreken er regelmatig ruwe data, analysecodes en details over gebruikte methoden. ‘Daardoor is het soms niet mogelijk om resultaten en conclusies te controleren.’
Wetenschap en samenleving dichter bij elkaar
Waar het NLRN zich richt op het verbeteren van de wetenschappelijke praktijk, richt NEWS zich op het dichter bij elkaar brengen van de wetenschap en de samenleving door middel van goede wetenschapscommunicatie. Volgens NEWS-directeur Sicco de Knecht draait het daarbij om interactie tussen wetenschappers en verschillende groepen in de samenleving. ‘Aan de hand van zo’n gesprek worden er betere vragen gesteld,’ stelt Sicco. ‘Op die manier zorg je niet alleen voor meer betrokkenheid, maar ook voor betere wetenschap.’
Precies die insteek maakt NEWS volgens Michiel zo’n interessante partner voor het NLRN. ‘Onderzoek wordt pas echt wat waard als de samenleving wordt betrokken bij de totstandkoming van kennis en dit proces begrijpt,’ zegt hij. ‘NEWS helpt om uit te leggen dat de wetenschap vol onzekerheden zit die gecontroleerd moeten worden en dat dit proces soms erg langzaam verloopt.’ Daarbij zou een simpele stelregel volgens Sicco al veel kunnen veranderen. ‘Ik zou zeggen “één paper is geen paper”. Door herhaling van onderzoeken en bevestiging in verschillende publicaties krijgen onderzoeken echt gewicht’.
Zichtbare onzekerheid
NEWS en NLRN werken momenteel aan concrete handreikingen om reproductie en replicatie een plek te geven in gesprekken over wetenschap. Een van de plannen waar ze aan werken is om gesprekken te organiseren tussen wetenschappers en wetenschapscommunicatoren. ‘We willen samen bepalen wanneer reproductie- en replicatieonderzoeken nieuwswaardig zijn,’ vertelt Sicco. Daarnaast willen ze kijken hoe journalisten kunnen schrijven over onzekerheid binnen de wetenschap.
Die onzekerheid moeten we volgens Michiel sowieso wat meer in het achterhoofd houden. ‘Over het ene resultaat zijn wetenschappers nou eenmaal zekerder dan over het andere.’ Hij noemt voedingswetenschappen als voorbeeld van een vakgebied met bijzonder veel onzekerheden. ‘Wij krijgen iedere dag enorm veel combinaties van voedingsstoffen binnen,’ legt Michiel uit. ‘Al die voedingsstoffen zijn erg lastig te isoleren voor onderzoek. Daardoor zou het goed kunnen dat consumenten de ene dag bijvoorbeeld te horen krijgen dat broccoli gezond is en dat ze een paar maanden later horen dat dat niet het geval is.’
Volgens Michiel kan het vertrouwen in de wetenschap afnemen door te stellige conclusies te trekken uit onderzoek. ‘Wetenschappers willen graag dat hun onderzoek wordt gepubliceerd en nemen daardoor vaak een vrij stellige toon aan in hun artikelen,’ legt hij uit. ‘Wat we beter kunnen doen is laten zien hoe zeker we over onze resultaten zijn. Door de onzekerheid die er van tevoren was een stuk te verkleinen kan een onderzoek nog steeds heel nuttig zijn.’
Een plek in de media
Een belangrijk doel van deze samenwerking is om een realistischer beeld van de wetenschap te scheppen. De vraag hoe we dat gaan realiseren is echter nog niet zo makkelijk te beantwoorden. Stan van Pelt, freelance wetenschapsjournalist voor onder meer de Volkskrant, verwacht bijvoorbeeld niet dat reproductie- en replicatieonderzoeken snel het nieuws zullen halen. ‘Sowieso zijn er daar maar heel weinig van. Bovendien: Een onderzoek dat vooral bevestigt wat al bekend was, is eigenlijk geen nieuws,’ zegt hij. ‘Het wordt interessanter als je het meeneemt in een trendverhaal. Bijvoorbeeld over hoe de wetenschap haar kwaliteitscontrole serieuzer neemt, of wat er na een paar jaar nog overeind staat van baanbrekende resultaten’.
‘Het idee van reproductie- en replicatieonderzoek zie je in achtergrondverhalen wel terugkomen,’ zegt Stan. ‘Daarin leg je meerdere onderzoeken naast elkaar om de stand van zaken te schetsen.’ Hij vertelt hoe journalisten in en na de coronaperiode tientallen onderzoeken naast elkaar legden om te kijken hoe effectief coronavaccins precies waren. ‘Dit zijn dan misschien geen reproductie- en replicatieonderzoeken, maar ze beantwoorden wel vergelijkbare vragen. Zo krijgen dit soort onderzoeken indirect al een plek in de journalistiek.’
Eerste tip voor meer reproductie- en replicatieonderzoek
NEWS zou graag een directere plek hiervoor creëren. ‘Mensen vinden het erg interessant om te weten hoe een bepaald wetenschappelijk vraagstuk is opgelost en ze denken graag mee over volgende stappen,’ zegt Sicco. ‘Niet-wetenschappers meenemen in hoe het onderzoeksproces in elkaar zit, schept een realistischer verwachting van wat wetenschap vermag.’ Stan ziet hier vooral een rol voor wetenschapsvoorlichters. ‘Het is natuurlijk niet de taak van de journalistiek om een communicatiestrategie uit te voeren,’ vult hij aan