“Alweer zo’n psychologisch lachertje”

Alweer een beroemd experiment dat in 17 labs niet kan worden gerepliceerd, dit keer is het een simpele proef waarbij proefpersonen een pen tussen hun lippen of tussen hun tanden houden, en vervolgens cartoons op grappigheid beoordelen.

Lees hier en hier het artikel in De Volkskrant op 07-09-2016.

Wat suggereert de titel?

De onderzoekers spreken van ‘gebakken lucht’ die voor kennis doorgaat, en een heel wetenschapsgebied dat leegloopt, ‘de wetenschap staat in brand’ aldus Wagenmakers, de leider van het replicatieonderzoek.

Replicatieonderzoek Wagenmakers: klik hier.

Op welk wetenschappelijk onderzoek is het nieuws- of persbericht gebaseerd?

De oorspronkelijke studie is van Strack, Martin en Stepper uit 1988, een artikel dat veel geciteerd is en waarvan de resultaten in diverse leerboeken in de psychologie beschreven worden. De 17 replicaties van deze studie zijn ter perse in een paper met als eerste auteur Wagenmakers. Het is een multilab, directe replicatie waarbij zo getrouw mogelijk de oorspronkelijke studie werd herhaald door 17 onderzoeksteams. De resultaten van de 17 replicaties zijn via meta-analyse bij elkaar gevoegd. De conclusie luidt dat de pen tussen je tanden houden niet leidt tot het amusanter vinden van de cartoons vergeleken met het vasthouden van de pen tussen de lippen. De gezichtsuitdrukking bij vasthouden tussen de tanden bootst een lach na en dat zou een vrolijker gevoel moeten oproepen. Een pen tussen de lippen geeft een pruilmondje en zou moeten leiden tot minder amusant vinden van komische cartoons. Dat effect van gelaatsuitdrukking op stemming vinden de onderzoekers dus niet terug in hun 17 replicaties.

Is dit echt wetenschappelijk nieuws?

Nee, dit is strikt genomen geen wetenschappelijk nieuws, simpelweg omdat in het oorspronkelijke artikel ook al geen significant verschil tussen vasthouden met de lippen of met de tanden werd gevonden. Strack et al. (1988) rapporteren letterlijk: “As expected, subjects who held the pen in their teeth at the time the cartoons were presented reported feeling more amused than those who held it in their lips, t (75) = 1.78” . Maar een t-test van 1.78 is niet significant volgens het standaard criterium van alpha < .05. Strack en collega’s hebben een zogenaamde eenzijdige toetsing uitgevoerd, maar dat is voor een eerste studie naar een nieuw fenomeen natuurlijk niet geoorloofd. Ook uit het artikel van Wagenmakers blijkt dat de oorspronkelijke studie geen significant verschil liet zien (zie hun Figuur 4 waarin voor de Strack studie de nul in het 95% betrouwbaarheidsinterval ligt, dus geen significant verschil tussen de twee condities). Kortom, Wagenmakers en collega’s hebben een perfecte replicatie uitgevoerd van de Strack studie, en definitief bewezen dat het ‘pen in de mond’ experiment geen invloed heeft op de gemoedstoestand van de proefpersonen. Datzelfde resultaat was ook al in 1988 geboekt, met een wat groter effect weliswaar dan in de meta-analyse van de replicaties. De wetenschap staat niet in brand en loopt ook niet leeg. Nauwkeurige lezing van het artikel uit 1988 had de dwaasheid van het oorspronkelijke experiment al aan het licht kunnen brengen. Replicatie-onderzoek is goed en belangrijk. Maar je kunt je afvragen of het niet een beetje jammer is van de tijd en energie van 17 onderzoeksteams en honderden proefpersonen om die te steken in replicatie van wat in de eerste ronde al niet werkte.

Wat is de kwaliteit van het onderzoek?

De kwaliteit van het replicatieonderzoek van Wagenmakers en collega’s is onberispelijk, met zorgvuldig uitgewerkte protocollen en pre-registratie van alle analysestappen een schoolvoorbeeld van de wijze waarop dit soort multilab replicaties moet worden opgezet en uitgevoerd. Zoveel acribie was een beter doel waard.

Wat is de praktische bruikbaarheid? Ethische verantwoording?

De praktische bruikbaarheid is groot: het replicatieonderzoek vormt een massieve les voor schrijvers van leerboeken in de psychologie om zorgvuldiger hun bronnen te analyseren en onderzoekers van ‘grappige’ en quasi-originele studies niet op hun woord in de samenvatting of discussie van een artikel te geloven. Nauwkeurig uitpluizen van onderzoeksopzet en statistische analyse is van groter belang dan het presenteren van een sappige ‘bevinding’, juist voor beginnende studenten. De les voor replicatoren kan zijn om alleen echte, theoretisch en praktisch belangwekkende bevindingen aan de tand te voelen.