Een hele slechte studie naar zaadoliën
Die toch continu wordt aangehaald
Dit artikel verscheen in kortere vorm in de nieuwe Skepter, het tijdschrift van Stichting Skepsis.
Als je mijn artikelen kunt waarderen, dan is Skepter zeker iets voor jou, aangezien daarmee elk kwartaal zo’n zestig heerlijke pagina’s over wetenschap en kritisch denken op de deurmat vallen. Over bijvoorbeeld de onderbouwing van buitengewone beweringen en allerhande drogredenen die je om de oren vliegen.
Zaadoliën, het is weer eens zo ver
We gaan het weer eens hebben over zaadoliën. En dan beginnen we uiteraard met deze meme:
Zaadoliën zijn online vaak de kop van Jut.
Hele volksstammen zijn er inmiddels van overtuigd dat zaadoliën, dus bijvoorbeeld zonnebloemolie, maïsolie, sojaolie en saffloerolie, puur gif zijn, alleen op basis van wat onvermijdelijke correlaties en onderbuikretoriek.
Ik schreef er eerder dit over:
Samenvattend:
Zaadoliën zitten in veel ultrabewerkt voedsel en ultrabewerkt voedsel heeft een sterke associatie met allerlei chronische ziekten, overgewicht en noem maar op. Dus is het een koud kunstje zaadoliën aan te wijzen als boosdoener van dit alles. Dat is zo’n beetje zeggen dat iedereen die is overleden ooit water heeft gedronken en dat we dus allemaal maar beter geen water meer kunnen drinken.
De theorie is dat zaadoliën vol zitten met linolzuur, een omega-6-vetzuur, en linolzuur zou zeer ontstekingsbevorderend zijn, alle gezondheidsgevolgen van dien. Maar: grote studies naar zowel zaadoliën als linolzuur specifiek, concluderen allemaal dat dit helemaal niet het geval is.
Zaadoliën en linolzuur worden, zolang je de data statistisch zuiver analyseert, geassocieerd met allerlei positieve gezondheidsuitkomsten en linolzuur werkt in de meeste gevallen juist ontstekingsverlagend, zo weten we uit verscheidene klinische onderzoeken en bevolkingsonderzoeken.
Studie
Niet geheel verrassend worden al deze onderzoeken door online angstzaaiers terzijde geschoven, terwijl ze continu wapperen met één studie waaruit zou blijken dat zaadoliën toch wel de duivel zijn. Zou je van geplukte kersen ook olie kunnen persen?
Ik heb het over de zogeheten Sydney Diet Heart Study uit 2013. Hilarisch genoeg werd deze ook meermaals gepost onder een video die ik eerder maakte over zaadoliën. Alsof ik dit nooit zou hebben gelezen of iets dergelijks. Nou mensen, bij deze. Riemen vast.
Als je het abstract leest, zou je namelijk zomaar kunnen denken dat zaadoliën inderdaad funest zijn, aangezien die stelt dat het vervangen van verzadigd vet door linolzuur het totale sterftecijfer verhoogt.
“The intervention group had higher rates of death than controls”
Alarmbellen.
Maar als je de studie leest, zie je eigenlijk dat er iets heel anders aan de hand is.
Sterker nog, als je iemand met een dergelijk onderzoek ziet schermen als ultiem bewijs van zijn standpunt, kun je er vergif (dus geen zaadoliën) op innemen dat-ie op monumentale wijze ongelijk heeft.
HARKing
Dat begint al bij de opzet.
In het onderzoek worden niet-gepubliceerde data geanalyseerd van een klinisch onderzoek dat liep van 1966 tot 1973. Mannelijke hartpatiënten tussen de 30 en 59 jaar oud (dus niet een willekeurige greep uit de bevolking) kregen de opdracht om hun verzadigde vetten uit bijvoorbeeld boter en vlees te vervangen door saffloerolie (rijk aan linolzuur). De onderzoekers wilden weten of dat het sterfterisico zou verlagen.
Verlágen, ja. Het initiële onderzoek hypothetiseerde dus dat saffloerolie en linolzuur juist gezónd zijn.
Jaren later wordt de data uit dit onderzoek ineens gebruikt voor de omgekeerde hypothese. Zo’n vreemde gang van zaken heb ik persoonlijk nog nooit gezien. Een dergelijke misleidende praktijk noemen we HARKing: Hypothesizing After the Results Are Known.
Je kunt natuurlijk niet een hypothese opstellen, onderzoek doen en als de uitkomst je niet bevalt, achteraf je hypothese aanpassen. Al is dat juist iets dat je in verschillende vormen online wel terug zult zien. Bijvoorbeeld bij astrologen, horoscopen en andere spiriwiri wichelroedewoekeraars. Ze formuleren dingen zo vaag, dat je achteraf ineens net kunt doen alsof de voorspelling aansluit bij een hele specifieke gebeurtenis. “Ah, je stapte in een hondendrol? Exact conform je horoscoop, waarin ik voorspelde dat er buiten eventueel onheil op je lag te wachten.”
HARKing is een beetje alsof je een dartpijl naast het bord gooit en er vervolgens maar een nieuw dartbord omheen tekent. “Kijk! Ik gooide precies in de roos!”
Om het verder te illustreren: stel je bijvoorbeeld voor dat je 25 keer een dobbelsteen gooit, waarvan acht keer 4 ogen. Dan concludeer je: statistisch gezien is de dobbelsteen niet perfect, want hij valt vaker op een 4. Iemand heeft de dobbelsteen gemanipuleerd of het zwaartepunt dusdanig veranderd dat er ineens veel vaker dan je zou verwachten een 4 valt. De kans dat zoiets gebeurt is namelijk nog geen 5 procent.
Maar: als je 25 keer een dobbelsteen gooit, is het helemaal niet zo heel onwaarschijnlijk dat je minimaal 8 keer een 1,2,3,4,5 of 6 gooit, ongeveer 27 procent. Maar als je het achteraf zo formuleert, lijkt het ineens heel waarschijnlijk dat de dobbel is verbouwd. Je husselt die krap 5 procent en die 27 procent door elkaar door achteraf te hypothetiseren.
Om het nog duidelijker te maken, een quote van Richard Feynman, wat technisch gezien geen HARK-ing is, maar meer een variant van HARK-ing in het dagelijkse leven:
You know, the most amazing thing happened to me tonight. I was coming
here, on the way to the lecture, and I came in through the parking lot.
And you won’t believe what happened. I saw a car with the license plate
ARW 357. Can you imagine? Of all the millions of license plates in the
state, what was the chance that I would see that particular one tonight?
Amazing!
— Richard Feynman
Methodologie
Het wordt nog mooier. De interventiegroep kreeg ter vervanging van onder andere dierlijke vetten en margarine vloeibare saffloerolie, maar daarbij ook dieetbegeleiding. De controlegroep kreeg helemaal niets. Geen dieetwijziging, geen begeleiding. Niets. Daarbij konden proefpersonen op elk willekeurig moment instromen en was er geen standaard tijd van deelname.
De controlegroep at waar men maar zin in had, wat dus ook een heel gezond dieet had kunnen zijn. 86 procent van de proefpersonen had immers een hartinfarct achter de rug. Dan ga je waarschijnlijk niet alleen steak en taart eten.
Daarbij ziet iedereen natuurlijk direct dat linolzuur helemaal niet een geïsoleerde variabele is in deze opzet, aangezien de interventiegroep zowel dierlijke vetten als margarine verving met saffloerolie.
Dus zowel verzadigde als transvetten (ofwel LDL-cholesterol verhogende onverzadigde vetten).
Tel daarbij op dat de interventiegroep ook dieetbegeleiding kreeg en je kunt onmogelijk stellen dat het verschil tussen beide groepen enkel en alleen aan linolzuur toe te schrijven zou zijn.
Data
Dan de data. Voor het onderzoek van 2013 zijn de gegevens van 458 mannelijke hartpatiënten meegenomen. 221 in de interventiegroep, 237 in de controlegroep. De auteurs hebben daarbij de data uit de jaren ‘60 en ‘70 gereconstrueerd uit een 9-track magneetband (de standaard voor dataopslag destijds) en daarbij een selectie gemaakt: alleen data die was te verifiëren aan de hand van artikelen die destijds waren gepubliceerd, werd meegenomen.
Uitvallers die destijds niet mee waren genomen in de studies, om wat voor reden dan ook, werden in het nieuwe onderzoek dus ook niet meegenomen. Hierdoor is het al lastig selectiebias uit te sluiten: wat zeiden deze niet meegenomen gegevens?
Op deze manier blaas je natuurlijk vooral de blinde vlekken van toen nieuw leven in. Dit alles zou natuurlijk bij iedere skepticus natuurlijk direct alle alarmbellen moeten doen rinkelen.
Resultaten
Ook was er nauwelijks significantie in het nieuwe onderzoek. De p-waarde was net aan 0,05.
Ter verhoging van de feestvreugde voerde Ramsden binnen hetzelfde paper ook nog eens een meta-analyse uit naar alle artikelen over linolzuur – waaruit geen enkel statistisch significant effect bleek. Maar nu wordt dit ineens geformuleerd vanuit de andere kant: er is geen effect, dus ook geen positief effect.
Dit is dus niet alleen een pijl gooien op een muur en er daarna een dartbord omheen tekenen, maar ook nog wat dartborden tekenen op een paar willekeurige plekken met de claim dat geen van je tegenstanders er eentje heeft kunnen raken.
Conclusie
Kortom, de Sydney Diet Heart Study geeft een nieuwe smaak aan het gezegde ‘rammelen aan alle kanten’. Het rammelt zo hard, dat je ineens ziet dat er kanten zijn aan een onderzoek die je daarvoor nooit opvielen. Maar nu dus wel, omdat ze dus rammelen. Het onderzoek is zo eigenlijk een uitstekende checklist van te vermijden blunders voor onderzoekers die zelf een experiment opzetten.
En ja, dat moet dan het ultieme bewijs zijn voor de schadelijkheid van zaadoliën.
Ik vermoed op basis van dit stuk “““““bewijs””””” dat deze oliën niet alleen hartstikke gezond zijn, maar ook nog eens uitermate geschikt om cognitieve dissonantie mee weg te masseren.
Kan je dit gratis artikel waarderen?
Overweeg dan een donatie, als je mij financieel wil steunen. Of beter nog: word lid van de betaalde nieuwsbrief, dan krijg je er iets voor terug.
Of neem dus een abo op Skepter, daar worden we allemaal beter van :)