Goed stuk! Mooi zoals de statistische details zijn nageplozen. In 2014 was er een artikel in de Proceedings of the National Academy of Science. Daar is de peer review doorgaans strenger dan bij de PLoS. Dat artikel beschrijft hoe Nijmeegse onderzoekers 24 vrijwilligers rekruteerden. Twaalf van hen werden 10 dagen lang getraind in de Wim Hof Methode. De overige twaalf vormden de controlegroep. Wie bij welke groep terecht kwam was random. De fysiologische metingen lieten naderhand een gunstig effect zien van de Wim Hof Methode. Het grote probleem is natuurlijk dat het onmogelijk is om zulk onderzoek op een gedegen random dubbelblinde manier te doen. Mensen die bereid zijn 10 dagen op te offeren voor instructie in de Wim Hof Methode zijn hoogstwaarschijnlijk mensen die er sowieso al in geloven. Zulke confirmation bias bij de vrijwilligers zou wel eens van grote invloed kunnen zijn. Het zou mooi zijn als dat PNAS artikel op nauwgezette wijze onder de loep genomen zou worden. De statistiek in dat artikel ben ik bijvoorbeeld niet nagegaan.
PLoS One is nou niet bepaald een ‘toonaangevend’ Medisch Vaktijdschrift. Allereerst is het een algemeen wetenschappelijk tijdschrift waarin ook papers uit andere disciplines gepubliceerd worden. En ten tweede, is bekend dat de kwaliteit niet altijd even hoog is en wordt PLoS One ook we eens gekscherend het afvoerputje van de wetenschap genoemd onder wetenschappers: dwz als je je verhaal nergens kwijt kunt, kun je het altijd nog bij PLoS One proberen.
Ik heb de analyse nog even overgedaan in stan (Bayesian statistiek) in R. Als je dan naar de parameters kijkt ligt 0 in alle betrouwbaarheidsintervallen, met andere woorden niets is "significant". In onderstaande tabel is a de parameter voor sport en b de vier treatment groepen.
"Bij dit soort onderzoeken moet je een statistisch model kiezen dat het beste past bij je data."
Even mieren neuken: je zou kunnen zeggen dat je een statistisch model moet kiezen dat het beste bij de *aard* van je data past. Maar data verzamelen, die bekijken (descriptieve statistieken w/e) en daar een statistisch model bij kiezen is niet de bedoeling. En een bron van veel p-hacking in mijn ervaring.
Goed stuk! Mooi zoals de statistische details zijn nageplozen. In 2014 was er een artikel in de Proceedings of the National Academy of Science. Daar is de peer review doorgaans strenger dan bij de PLoS. Dat artikel beschrijft hoe Nijmeegse onderzoekers 24 vrijwilligers rekruteerden. Twaalf van hen werden 10 dagen lang getraind in de Wim Hof Methode. De overige twaalf vormden de controlegroep. Wie bij welke groep terecht kwam was random. De fysiologische metingen lieten naderhand een gunstig effect zien van de Wim Hof Methode. Het grote probleem is natuurlijk dat het onmogelijk is om zulk onderzoek op een gedegen random dubbelblinde manier te doen. Mensen die bereid zijn 10 dagen op te offeren voor instructie in de Wim Hof Methode zijn hoogstwaarschijnlijk mensen die er sowieso al in geloven. Zulke confirmation bias bij de vrijwilligers zou wel eens van grote invloed kunnen zijn. Het zou mooi zijn als dat PNAS artikel op nauwgezette wijze onder de loep genomen zou worden. De statistiek in dat artikel ben ik bijvoorbeeld niet nagegaan.
PLoS One is nou niet bepaald een ‘toonaangevend’ Medisch Vaktijdschrift. Allereerst is het een algemeen wetenschappelijk tijdschrift waarin ook papers uit andere disciplines gepubliceerd worden. En ten tweede, is bekend dat de kwaliteit niet altijd even hoog is en wordt PLoS One ook we eens gekscherend het afvoerputje van de wetenschap genoemd onder wetenschappers: dwz als je je verhaal nergens kwijt kunt, kun je het altijd nog bij PLoS One proberen.
Ik heb de analyse nog even overgedaan in stan (Bayesian statistiek) in R. Als je dan naar de parameters kijkt ligt 0 in alle betrouwbaarheidsintervallen, met andere woorden niets is "significant". In onderstaande tabel is a de parameter voor sport en b de vier treatment groepen.
mean sd 5.5% 94.5% rhat ess_bulk
a[1] -0.04 0.41 -0.68 0.61 1.02 375.90
a[2] 0.29 0.42 -0.39 0.94 1.02 395.51
b[1] -0.02 0.42 -0.67 0.64 1.02 381.75
b[2] 0.12 0.42 -0.53 0.79 1.02 383.83
b[3] 0.09 0.42 -0.57 0.75 1.02 382.49
b[4] 0.30 0.42 -0.34 0.97 1.02 379.20
phi 0.23 0.01 0.21 0.25 1.00 712.85
"Bij dit soort onderzoeken moet je een statistisch model kiezen dat het beste past bij je data."
Even mieren neuken: je zou kunnen zeggen dat je een statistisch model moet kiezen dat het beste bij de *aard* van je data past. Maar data verzamelen, die bekijken (descriptieve statistieken w/e) en daar een statistisch model bij kiezen is niet de bedoeling. En een bron van veel p-hacking in mijn ervaring.
Wederom een interessant stuk. Wat ik lees gaat vooral over dit onderzoek maar zegt niets of koud douchen of koude therapie werkt of niet.