Actueel
alle pijlers
Diederik Stapel
vrijdag 9 september 2011 om 09:37
Diederik Stapel was, zoals NRC het noemde, 'de Golden Boy' van de psychologie. Gevierd in binnen- en buitenland. Met een enorme productie aan publicaties in 'peer reviewed' vakbladen. Totdat deze week uitkwam dat hij grossierde in onderzoeksfraude.
Talloze verreikende conclusies, gebaseerd op verzonnen onderzoeken, wereldwijd overgenomen door 'peers', die er op hun beurt weer politici mee bedienen, op zoek zijn naar 'vakkennis' om hun beleid te schragen.
Het is de zoveelste nagel in de doodskist van het primaat van de 'menswetenschappen' als bron voor kennis over wat ons motiveert. Want dit geval staat nou niet bepaald op zichzelf. En ik kan mij voorstellen dat integere, minder op status gerichte onderzoekers in die discipline, wanhopig worden van dit soort nieuws over hun vakgebied. Het onderstreept de fundamentele zwakte van het systeem van 'peer review'.
Het zal nog járen duren voor de frauduleuze 'resultaten' van Stapel's verzonnen onderzoeken uit het systeem gefilterd zijn. Als dat al de wens van de 'branche' zou zijn. Want in een stuk of wat andere gevallen waar onderzoek naar de prullenbak is verwezen, blijven 'menswetenschappers' onverstoord het gewraakte materiaal gebruiken, omdat het goed verkoopt. En blijven de 'onderzoekers' gewoon publiceren.
Talloze verreikende conclusies, gebaseerd op verzonnen onderzoeken, wereldwijd overgenomen door 'peers', die er op hun beurt weer politici mee bedienen, op zoek zijn naar 'vakkennis' om hun beleid te schragen.
Het is de zoveelste nagel in de doodskist van het primaat van de 'menswetenschappen' als bron voor kennis over wat ons motiveert. Want dit geval staat nou niet bepaald op zichzelf. En ik kan mij voorstellen dat integere, minder op status gerichte onderzoekers in die discipline, wanhopig worden van dit soort nieuws over hun vakgebied. Het onderstreept de fundamentele zwakte van het systeem van 'peer review'.
Het zal nog járen duren voor de frauduleuze 'resultaten' van Stapel's verzonnen onderzoeken uit het systeem gefilterd zijn. Als dat al de wens van de 'branche' zou zijn. Want in een stuk of wat andere gevallen waar onderzoek naar de prullenbak is verwezen, blijven 'menswetenschappers' onverstoord het gewraakte materiaal gebruiken, omdat het goed verkoopt. En blijven de 'onderzoekers' gewoon publiceren.
zaterdag 10 september 2011 om 10:35
De beste man is al opgeknoopt nog voor is onderzocht hoe die vervalsingen in zijn werk zijn gegaan. Goed om het te onderzoeken, en goed om hem op non-actief te stellen, maar is al gekeken of het onomstotelijk is vast te stellen hoe die gegevens precies vervalst zijn? Klopt dat onderzoek naar die fraude dan wel? Is het geen ex-collega die hem een hak wil zetten?
zaterdag 10 september 2011 om 10:38
quote:_yellowlove_ schreef op 10 september 2011 @ 08:08:
Zo, dat is nogal een aanname. (..)
Als iemand schrijft: Enerzijds/Anderzijds, en er bovendien bij vermeldt dat het zijn vermoeden betreft, dan is het weinig integer om te schrijven dat diegene iets aanneemt. Ik neem niks aan. Ik opper mogelijke redenen.
Voor jou geldt, kennelijk, dat ik 'moeilijke' woorden gebruik. En dat ik dingen stellig breng. Bij 'moeilijke' woorden kun je om opheldering vragen, zoals Wiesje deed. Of een woordenboek pakken. 'Moeilijke' woorden zijn soms niet te vermijden, omdat een van de kenmerken van het vakgebied is, dat men jargon gebruikt om dingen te versluieren, of om de status te verhogen. 'Peer review' is niet mijn uitvinding. En het Nederlandstalige equivalent is niet direct duidelijker.
Als ik iets stellig breng, dan komt dat omdat ik meen dat het feiten betreft. Zoals bij die student die ontdekt zou hebben dat Stapel fraude pleegde. Dat heb ik dan, in dit geval, uit de media. Als zo'n aspect niet juist is, dan staat niets je in de weg om mij daarop te wijzen. En in dit specifieke geval (AIO of student), interesseert het mij werkelijk 'de rozen'. Want daar gaat het niet om. Hoofdzaak, en bijzaak.
Kortom: Spring erin! Geef je mening. Neem deel aan de ECHTE discussie, over een heus nieuwsfeit.
Zo, dat is nogal een aanname. (..)
Als iemand schrijft: Enerzijds/Anderzijds, en er bovendien bij vermeldt dat het zijn vermoeden betreft, dan is het weinig integer om te schrijven dat diegene iets aanneemt. Ik neem niks aan. Ik opper mogelijke redenen.
Voor jou geldt, kennelijk, dat ik 'moeilijke' woorden gebruik. En dat ik dingen stellig breng. Bij 'moeilijke' woorden kun je om opheldering vragen, zoals Wiesje deed. Of een woordenboek pakken. 'Moeilijke' woorden zijn soms niet te vermijden, omdat een van de kenmerken van het vakgebied is, dat men jargon gebruikt om dingen te versluieren, of om de status te verhogen. 'Peer review' is niet mijn uitvinding. En het Nederlandstalige equivalent is niet direct duidelijker.
Als ik iets stellig breng, dan komt dat omdat ik meen dat het feiten betreft. Zoals bij die student die ontdekt zou hebben dat Stapel fraude pleegde. Dat heb ik dan, in dit geval, uit de media. Als zo'n aspect niet juist is, dan staat niets je in de weg om mij daarop te wijzen. En in dit specifieke geval (AIO of student), interesseert het mij werkelijk 'de rozen'. Want daar gaat het niet om. Hoofdzaak, en bijzaak.
Kortom: Spring erin! Geef je mening. Neem deel aan de ECHTE discussie, over een heus nieuwsfeit.
zaterdag 10 september 2011 om 10:39
quote:jaap schreef op 10 september 2011 @ 10:22:
[...]
Dat is dan een andere lezing dan ik in de media tegenkwam.
Waar ik heen wil met dit topic, is het ter sprake brengen van de kwestie in een breder verband. Ik gaf al aan, dat er vele voorbeelden te geven zijn van problemen, veroorzaakt door fraude, of bias in bestaand materiaal. Waardoor verkeerde conclusies worden getrokken. Niet slechts door de onderzoeker zelf, maar ook door onderzoekers en beleidsmakers die vervolgens, middels meta-analyses proberen te achterhalen wat er bekend is over een bepaald onderwerp. Het is al praktisch onmogelijk om het effect dat het frauduleuze onderzoek van Stapel daarop heeft uit dat soort toekomstig onderzoek te filteren. Want het is net een kaartenhuis. Ook al wordt zijn naam niet meer als referentie gebruikt voor een bepaalde conclusie, dan nog kan die ergens wel bepalend zijn.
Daarbij is er werkelijk alle reden om aan te nemen, dat Stapel op geen stukken na de enige is die gefraudeerd heeft, of willens en wetens 'bias' heeft toegelaten in onderzoek. Er zijn mij domweg teveel verhalen bekend van 'politiek correcte' redactie.
Hier doe je het weer. Iemand geeft aan iets anders erover gelezen te hebben, en dan gaat het opeens niet meer daarover , maar over wetenschap in het algemeen, waar al veel gefraudeerd wordt. Zonder bronnen, of voorbeelden. En weer een hele lap tekst, vol interessante woordkeuzes overigens, waar dan eigenlijk in staat: ja het gebeurt denk ik vaker dan je hoort, en er zijn vast onderzoeken die alsnog door Diederik beinvloed zijn.
Maar dit is niet echt concreet maken waar je het nu over hebt? Want welke onderzoeken zijn dan beinvloed? En welke redacties zijn 'politiek correct'?
[...]
Dat is dan een andere lezing dan ik in de media tegenkwam.
Waar ik heen wil met dit topic, is het ter sprake brengen van de kwestie in een breder verband. Ik gaf al aan, dat er vele voorbeelden te geven zijn van problemen, veroorzaakt door fraude, of bias in bestaand materiaal. Waardoor verkeerde conclusies worden getrokken. Niet slechts door de onderzoeker zelf, maar ook door onderzoekers en beleidsmakers die vervolgens, middels meta-analyses proberen te achterhalen wat er bekend is over een bepaald onderwerp. Het is al praktisch onmogelijk om het effect dat het frauduleuze onderzoek van Stapel daarop heeft uit dat soort toekomstig onderzoek te filteren. Want het is net een kaartenhuis. Ook al wordt zijn naam niet meer als referentie gebruikt voor een bepaalde conclusie, dan nog kan die ergens wel bepalend zijn.
Daarbij is er werkelijk alle reden om aan te nemen, dat Stapel op geen stukken na de enige is die gefraudeerd heeft, of willens en wetens 'bias' heeft toegelaten in onderzoek. Er zijn mij domweg teveel verhalen bekend van 'politiek correcte' redactie.
Hier doe je het weer. Iemand geeft aan iets anders erover gelezen te hebben, en dan gaat het opeens niet meer daarover , maar over wetenschap in het algemeen, waar al veel gefraudeerd wordt. Zonder bronnen, of voorbeelden. En weer een hele lap tekst, vol interessante woordkeuzes overigens, waar dan eigenlijk in staat: ja het gebeurt denk ik vaker dan je hoort, en er zijn vast onderzoeken die alsnog door Diederik beinvloed zijn.
Maar dit is niet echt concreet maken waar je het nu over hebt? Want welke onderzoeken zijn dan beinvloed? En welke redacties zijn 'politiek correct'?
zaterdag 10 september 2011 om 10:41
quote:jaap schreef op 10 september 2011 @ 10:38:
[...]
Als iemand schrijft: Enerzijds/Anderzijds, en er bovendien bij vermeldt dat het zijn vermoeden betreft, dan is het weinig integer om te schrijven dat diegene iets aanneemt. Ik neem niks aan. Ik opper mogelijke redenen.
Voor jou geldt, kennelijk, dat ik 'moeilijke' woorden gebruik. En dat ik dingen stellig breng. Bij 'moeilijke' woorden kun je om opheldering vragen, zoals Wiesje deed. Of een woordenboek pakken. 'Moeilijke' woorden zijn soms niet te vermijden, omdat een van de kenmerken van het vakgebied is, dat men jargon gebruikt om dingen te versluieren, of om de status te verhogen. 'Peer review' is niet mijn uitvinding. En het Nederlandstalige equivalent is niet direct duidelijker.
Als ik iets stellig breng, dan komt dat omdat ik meen dat het feiten betreft. Zoals bij die student die ontdekt zou hebben dat Stapel fraude pleegde. Dat heb ik dan, in dit geval, uit de media. Als zo'n aspect niet juist is, dan staat niets je in de weg om mij daarop te wijzen. En in dit specifieke geval (AIO of student), interesseert het mij werkelijk 'de rozen'. Want daar gaat het niet om. Hoofdzaak, en bijzaak.
Kortom: Spring erin! Geef je mening. Neem deel aan de ECHTE discussie, over een heus nieuwsfeit.
Ik heb onderzoeken gedaan (als student overigens) in de geesteswetenschappen, ik weet wel waar je het over hebt.(wederom een aanname van je..) Ik snap je hoor, maar ik denk dat de toegankelijkheid van dit topic door je taalkeuze niet zo groot is. En dat beantwoordt dan dus de vraag waarom er niet veel discussie plaats vindt.
Ik discussieer wel eens vaker overigens, over nieuwsfeiten. Maar attent dat je me enthousiast schijnt te willen maken over heuse nieuwsfeiten.
[...]
Als iemand schrijft: Enerzijds/Anderzijds, en er bovendien bij vermeldt dat het zijn vermoeden betreft, dan is het weinig integer om te schrijven dat diegene iets aanneemt. Ik neem niks aan. Ik opper mogelijke redenen.
Voor jou geldt, kennelijk, dat ik 'moeilijke' woorden gebruik. En dat ik dingen stellig breng. Bij 'moeilijke' woorden kun je om opheldering vragen, zoals Wiesje deed. Of een woordenboek pakken. 'Moeilijke' woorden zijn soms niet te vermijden, omdat een van de kenmerken van het vakgebied is, dat men jargon gebruikt om dingen te versluieren, of om de status te verhogen. 'Peer review' is niet mijn uitvinding. En het Nederlandstalige equivalent is niet direct duidelijker.
Als ik iets stellig breng, dan komt dat omdat ik meen dat het feiten betreft. Zoals bij die student die ontdekt zou hebben dat Stapel fraude pleegde. Dat heb ik dan, in dit geval, uit de media. Als zo'n aspect niet juist is, dan staat niets je in de weg om mij daarop te wijzen. En in dit specifieke geval (AIO of student), interesseert het mij werkelijk 'de rozen'. Want daar gaat het niet om. Hoofdzaak, en bijzaak.
Kortom: Spring erin! Geef je mening. Neem deel aan de ECHTE discussie, over een heus nieuwsfeit.
Ik heb onderzoeken gedaan (als student overigens) in de geesteswetenschappen, ik weet wel waar je het over hebt.(wederom een aanname van je..) Ik snap je hoor, maar ik denk dat de toegankelijkheid van dit topic door je taalkeuze niet zo groot is. En dat beantwoordt dan dus de vraag waarom er niet veel discussie plaats vindt.
Ik discussieer wel eens vaker overigens, over nieuwsfeiten. Maar attent dat je me enthousiast schijnt te willen maken over heuse nieuwsfeiten.
zaterdag 10 september 2011 om 10:57
Heb de kranten vanochtend nog niet gezien, maar ik vind het echt vreselijk wat er gebeurd is daar in Tilburg. Voor de wetenschap als systeem, omdat we moeten zorgen dat dit systeem niet de (mede)veroorzaker is voor dit soort fraude (publicatiedruk etc.) maar ook voor Stapel zelf: hij is ten onder gegaan aan zijn eigen succes. Schandalig wat hij heeft gedaan, maar heb toch ook wel medelijden met hem. Wat heeft er voor gezorgd dat hij in zo'n situatie terecht is gekomen, waarin hij data bij elkaar heeft verzonnen? Dat vraag ik me af. Ook vreselijk voor zijn vrouw en twee kinderen overigens.
@ Saudade: onderzoek naar de feiten van de vermeende fraude wordt in de komende weken afgerond. Ik geloof dat er eind oktober een rapport uit komt. Stapel heeft wel zelf al toegegeven aan de rector van UvT dat hij data heeft verzonnen.
@ Saudade: onderzoek naar de feiten van de vermeende fraude wordt in de komende weken afgerond. Ik geloof dat er eind oktober een rapport uit komt. Stapel heeft wel zelf al toegegeven aan de rector van UvT dat hij data heeft verzonnen.
zaterdag 10 september 2011 om 10:58
quote:saudade schreef op zaterdag 10 september 2011 10:35 De beste man is al opgeknoopt nog voor is onderzocht hoe die vervalsingen in zijn werk zijn gegaan. Goed om het te onderzoeken, en goed om hem op non-actief te stellen, maar is al gekeken of het onomstotelijk is vast te stellen hoe die gegevens precies vervalst zijn? Klopt dat onderzoek naar die fraude dan wel? Is het geen ex-collega die hem een hak wil zetten?Hij heeft het zelf toegegeven.
zondag 11 september 2011 om 07:20
quote:_yellowlove_ schreef op 10 september 2011 @ 10:39:
Hier doe je het weer. Iemand geeft aan iets anders erover gelezen te hebben, en dan gaat het opeens niet meer daarover , maar over wetenschap in het algemeen, waar al veel gefraudeerd wordt. Zonder bronnen, of voorbeelden. En weer een hele lap tekst, vol interessante woordkeuzes overigens, waar dan eigenlijk in staat: ja het gebeurt denk ik vaker dan je hoort, en er zijn vast onderzoeken die alsnog door Diederik beinvloed zijn.
Maar dit is niet echt concreet maken waar je het nu over hebt? Want welke onderzoeken zijn dan beinvloed? En welke redacties zijn 'politiek correct'?Hier doe ik 'wat', weer? Het is echt TOTAAL onbelangrijk of het een AIO, AIO's, een collega, het universiteitsbestuur, of een student was/waren die erachter kwam(en) dat Stapel fraudeerde.
Hiervoor heb ik al enkele concrete voorbeelden aangegeven van andere mij bekende gevallen van fraude. Waarvan twee opzettelijk, om de kwetsbaarheid van het 'peer review' systeem aan te geven. Ik hoop dat je niet van mij verwacht dat ik in elke nieuwe tekst opnieuw die argumenten opneem?
Verder bestaat veel onderzoek ten behoeve van beleidsmakers uit 'meta-analyses'. Onderzoek waarbij simpelweg geteld worden hoe vaak eerder onderzoek gedaan is over een bepaald onderwerp, en wat daarvan de uitkomsten waren. De vrachtwagen vol resultaten van Stapel eruit filteren, is monikkenwerk. Temeer daar hij in tal van situaties slechtst genoemd wordt als co-auteur, en niet op voorhand duidelijk is wat zijn bijdrage was.
Verder dienen alle publicaties waarin naar publicaties van Stapel wordt verwezen in voetnoten, ter ondersteuning van een betoog, naar de prullenmand te worden verwezen, wil je integer te werk gaan. Nou, ik wil met je wedden, dat dat niet gaat gebeuren! Dus blijven we, tot in lengte van jaren, met 'vervuild' onderzoek doormodderen.
Hier doe je het weer. Iemand geeft aan iets anders erover gelezen te hebben, en dan gaat het opeens niet meer daarover , maar over wetenschap in het algemeen, waar al veel gefraudeerd wordt. Zonder bronnen, of voorbeelden. En weer een hele lap tekst, vol interessante woordkeuzes overigens, waar dan eigenlijk in staat: ja het gebeurt denk ik vaker dan je hoort, en er zijn vast onderzoeken die alsnog door Diederik beinvloed zijn.
Maar dit is niet echt concreet maken waar je het nu over hebt? Want welke onderzoeken zijn dan beinvloed? En welke redacties zijn 'politiek correct'?Hier doe ik 'wat', weer? Het is echt TOTAAL onbelangrijk of het een AIO, AIO's, een collega, het universiteitsbestuur, of een student was/waren die erachter kwam(en) dat Stapel fraudeerde.
Hiervoor heb ik al enkele concrete voorbeelden aangegeven van andere mij bekende gevallen van fraude. Waarvan twee opzettelijk, om de kwetsbaarheid van het 'peer review' systeem aan te geven. Ik hoop dat je niet van mij verwacht dat ik in elke nieuwe tekst opnieuw die argumenten opneem?
Verder bestaat veel onderzoek ten behoeve van beleidsmakers uit 'meta-analyses'. Onderzoek waarbij simpelweg geteld worden hoe vaak eerder onderzoek gedaan is over een bepaald onderwerp, en wat daarvan de uitkomsten waren. De vrachtwagen vol resultaten van Stapel eruit filteren, is monikkenwerk. Temeer daar hij in tal van situaties slechtst genoemd wordt als co-auteur, en niet op voorhand duidelijk is wat zijn bijdrage was.
Verder dienen alle publicaties waarin naar publicaties van Stapel wordt verwezen in voetnoten, ter ondersteuning van een betoog, naar de prullenmand te worden verwezen, wil je integer te werk gaan. Nou, ik wil met je wedden, dat dat niet gaat gebeuren! Dus blijven we, tot in lengte van jaren, met 'vervuild' onderzoek doormodderen.
zondag 11 september 2011 om 07:26
quote:slootje schreef op 10 september 2011 @ 10:57:
Heb de kranten vanochtend nog niet gezien, maar ik vind het echt vreselijk wat er gebeurd is daar in Tilburg. Voor de wetenschap als systeem, omdat we moeten zorgen dat dit systeem niet de (mede)veroorzaker is voor dit soort fraude (publicatiedruk etc.) maar ook voor Stapel zelf: hij is ten onder gegaan aan zijn eigen succes. Schandalig wat hij heeft gedaan, maar heb toch ook wel medelijden met hem. Wat heeft er voor gezorgd dat hij in zo'n situatie terecht is gekomen, waarin hij data bij elkaar heeft verzonnen? Dat vraag ik me af. Ook vreselijk voor zijn vrouw en twee kinderen overigens.
@ Saudade: onderzoek naar de feiten van de vermeende fraude wordt in de komende weken afgerond. Ik geloof dat er eind oktober een rapport uit komt. Stapel heeft wel zelf al toegegeven aan de rector van UvT dat hij data heeft verzonnen.De menselijke maat is altijd een bron voor medeleven. Daarom wil ik het daar ook niet over hebben, bij voorkeur. Maar over het systeem dat heeft gefaald.En, zoals ik betoog, al verscheidene keren is aangemerkt als 'fraudegevoelig'.
Heb de kranten vanochtend nog niet gezien, maar ik vind het echt vreselijk wat er gebeurd is daar in Tilburg. Voor de wetenschap als systeem, omdat we moeten zorgen dat dit systeem niet de (mede)veroorzaker is voor dit soort fraude (publicatiedruk etc.) maar ook voor Stapel zelf: hij is ten onder gegaan aan zijn eigen succes. Schandalig wat hij heeft gedaan, maar heb toch ook wel medelijden met hem. Wat heeft er voor gezorgd dat hij in zo'n situatie terecht is gekomen, waarin hij data bij elkaar heeft verzonnen? Dat vraag ik me af. Ook vreselijk voor zijn vrouw en twee kinderen overigens.
@ Saudade: onderzoek naar de feiten van de vermeende fraude wordt in de komende weken afgerond. Ik geloof dat er eind oktober een rapport uit komt. Stapel heeft wel zelf al toegegeven aan de rector van UvT dat hij data heeft verzonnen.De menselijke maat is altijd een bron voor medeleven. Daarom wil ik het daar ook niet over hebben, bij voorkeur. Maar over het systeem dat heeft gefaald.En, zoals ik betoog, al verscheidene keren is aangemerkt als 'fraudegevoelig'.
zondag 11 september 2011 om 10:08
Ok ,we mogen het niet over de menselijke maat hebben, als we nog feiten kennen die anders zijn dan in jouw betoog, zijn die TOTAAL niet belangrijk. En jij vindt het raar dat dit topic geen 80 pagina's heeft.... Ik ken jou verder nauwelijks, ben het vaak eens met je op bepaalde onderwerpen, maar hier vind ik echt dat je de discussie zo probeert te sturen dat het nagenoeg onmogelijk wordt om aan je eisen te voldoen. En dus zullen mensen het opgeven.
Verder hoef ik geen weddenschap met je aan te gaan.. Ik denk dat de meeste wetenschappers die met hem hebben samengewerkt, of zijn gegevens hebben gebruikt dit wel zullen proberen aan te passen, maar zijn 'onderzoeken' zullen nog steeds veel artikelen beinvloeden. Ik hoop echter ook op het zelfreinigend vermogen van de wetenschap waarin iig gepoogd wordt om het eigen werk goed onder de loep te nemen en aan te passen waar nodig.
Verder hoef ik geen weddenschap met je aan te gaan.. Ik denk dat de meeste wetenschappers die met hem hebben samengewerkt, of zijn gegevens hebben gebruikt dit wel zullen proberen aan te passen, maar zijn 'onderzoeken' zullen nog steeds veel artikelen beinvloeden. Ik hoop echter ook op het zelfreinigend vermogen van de wetenschap waarin iig gepoogd wordt om het eigen werk goed onder de loep te nemen en aan te passen waar nodig.
zondag 11 september 2011 om 10:51
Weet je wat 'bij voorkeur' betekent? Het houdt allerminst in dat er een verbod rust op het verheffen van de 'menselijke maat' tot onderwerp van gesprek. Maar dat het MIJ voorkomt, in dit geval, dat de slachtoffers die vallen, en gevallen zijn, door fout beleid, gebaseerd op adviezen/conclusies van 'onderzoek' dat op gebakken lucht en 'politiek correcte' nonsense is gebaseerd, een graadje of tig belangrijker zijn. Heel zielig voor Stapel dat zijn ambitie en hang naar status met hem op de loop zijn gegaan. En triest als je man/vader zo 'te drogen' wordt gehangen. Maar voor mij geen reden er een topic over te openen.
zondag 11 september 2011 om 10:54
Nee ik weet niet wat bij voorkeur betekent..
Ik probeer gewoon duidelijk in te gaan op jouw vraag waarom het topic niet zo drukbezocht is, en mijn mening daarover te geven. En wat ik aangeef is hoe je manier van posten over kan komen.
Verder is het aan jou wat jij daar wel of niet van vindt.
Persoonlijk denk ik dat de menselijke kwestie ook belangrijk is, waarom willen mensen op deze manier onderzoek bedrijven (zelf data verzinnen) hoe komen zij op dit idee, nadat zij eerst jaren wel op zoek gegaan zijn naar werkelijke data? Ligt de werkdruk te hoog, of zijn de verwachtingen van onderzoek te groot in het huidige klimaat?
Om herhaling te voorkomen lijken mij dat zeer zeker nuttige vragen.
Daarnaast is er idd de kwestie : wat nu? Hoe krijgen we het werkveld weer 'schoon' ? Kan dat eigenlijk wel? Is het mogelijk om stap voor stap werken na te gaan?
Ik probeer gewoon duidelijk in te gaan op jouw vraag waarom het topic niet zo drukbezocht is, en mijn mening daarover te geven. En wat ik aangeef is hoe je manier van posten over kan komen.
Verder is het aan jou wat jij daar wel of niet van vindt.
Persoonlijk denk ik dat de menselijke kwestie ook belangrijk is, waarom willen mensen op deze manier onderzoek bedrijven (zelf data verzinnen) hoe komen zij op dit idee, nadat zij eerst jaren wel op zoek gegaan zijn naar werkelijke data? Ligt de werkdruk te hoog, of zijn de verwachtingen van onderzoek te groot in het huidige klimaat?
Om herhaling te voorkomen lijken mij dat zeer zeker nuttige vragen.
Daarnaast is er idd de kwestie : wat nu? Hoe krijgen we het werkveld weer 'schoon' ? Kan dat eigenlijk wel? Is het mogelijk om stap voor stap werken na te gaan?
zondag 11 september 2011 om 11:06
quote:_yellowlove_ schreef op 11 september 2011 @ 10:54:
Persoonlijk denk ik dat de menselijke kwestie ook belangrijk is, waarom willen mensen op deze manier onderzoek bedrijven (zelf data verzinnen) hoe komen zij op dit idee, nadat zij eerst jaren wel op zoek gegaan zijn naar werkelijke data? Ligt de werkdruk te hoog, of zijn de verwachtingen van onderzoek te groot in het huidige klimaat?
Om herhaling te voorkomen lijken mij dat zeer zeker nuttige vragen.
Daarnaast is er idd de kwestie : wat nu? Hoe krijgen we het werkveld weer 'schoon' ? Kan dat eigenlijk wel? Is het mogelijk om stap voor stap werken na te gaan?
Ja, dat vraag ik mij ook af. Hoe komt hij ertoe om zo te werk te gaan? Wellicht een hoge druk te publiceren?
Ik ben geen expert in dit veld, maar ik heb niet de indruk dat Stapels werk nou echt veel is overgenomen in beleid en dergelijke. Zijn resultaten zijn onder andere gepubliceerd in de Telegraaf nota bene. Zegt dat niet genoeg? Hij werkte op een niche onderwerp, dus ik denk dat de schade een stuk kleiner is dan hier wordt voorgedaan. Ik heb niet de indruk dat er in dit onderwerp veel onderzoek is dat echt voortborduurt op de resultaten van Stapel. Niet ieder werk dat aan hem refereert is per definitie nu 'besmet', alleen als ze ook echt op zijn resultaten leunen. En wat Yellow ook al zegt, zullen die paar resultaten die dat wel doen, denk ik wel gerectificeerd worden door de auteurs, uit eigenbelang.
Persoonlijk denk ik dat de menselijke kwestie ook belangrijk is, waarom willen mensen op deze manier onderzoek bedrijven (zelf data verzinnen) hoe komen zij op dit idee, nadat zij eerst jaren wel op zoek gegaan zijn naar werkelijke data? Ligt de werkdruk te hoog, of zijn de verwachtingen van onderzoek te groot in het huidige klimaat?
Om herhaling te voorkomen lijken mij dat zeer zeker nuttige vragen.
Daarnaast is er idd de kwestie : wat nu? Hoe krijgen we het werkveld weer 'schoon' ? Kan dat eigenlijk wel? Is het mogelijk om stap voor stap werken na te gaan?
Ja, dat vraag ik mij ook af. Hoe komt hij ertoe om zo te werk te gaan? Wellicht een hoge druk te publiceren?
Ik ben geen expert in dit veld, maar ik heb niet de indruk dat Stapels werk nou echt veel is overgenomen in beleid en dergelijke. Zijn resultaten zijn onder andere gepubliceerd in de Telegraaf nota bene. Zegt dat niet genoeg? Hij werkte op een niche onderwerp, dus ik denk dat de schade een stuk kleiner is dan hier wordt voorgedaan. Ik heb niet de indruk dat er in dit onderwerp veel onderzoek is dat echt voortborduurt op de resultaten van Stapel. Niet ieder werk dat aan hem refereert is per definitie nu 'besmet', alleen als ze ook echt op zijn resultaten leunen. En wat Yellow ook al zegt, zullen die paar resultaten die dat wel doen, denk ik wel gerectificeerd worden door de auteurs, uit eigenbelang.
zondag 11 september 2011 om 12:31
Alle papers waar hij co-auteur van was worden tegen het licht gehouden om te zien of hij met de data kan hebben gerommeld. Als dat niet kan worden uitgesloten worden deze papers teruggetrokken. Het gaat hierbij om honderden artikelen (en dus ook heel veel jonge onderzoekers die ineens geen CV meer hebben).
Of zijn onderzoek nu zoveel is gebruikt voor beleid, betwijfel ik: het was vrij fundamenteel en weinig toegepast.
Of zijn onderzoek nu zoveel is gebruikt voor beleid, betwijfel ik: het was vrij fundamenteel en weinig toegepast.
zondag 11 september 2011 om 13:19
Zelf werk ik een andere tak van psychologische wetenschap en het nieuws over Stapel sloeg bij ons in als een bom, de hele woensdagnamiddag/avond hebben al mijn collega's het eigenlijk nergens anders over gehad. De schok is heel groot. Ethiek staat bij de meeste wetenschappers wel echt heel hoog in het vaandel, bovendien denk ik dat 'wij' er echt wel van doordrongen zijn dat een null-resultaat (het effect wat je denkt te gaan vinden, niet vinden) net zo belangrijk is als een resultaat, en vaak veel waarschijnlijker ook. De heersende consensus is toch eigenlijk dat meneeer Stapel een of ander vorm van psychopathologie onder de leden heeft want dat je dit doet als wetenschapper is, echt, echt echt, onbegrijpelijk vanuit ons point of view. Bovendien snappen we eigenlijk niet hoe hij het voor elkaar heeft gekregen om data te verkrijgen zonder de daarbij behorende onderzoeksassistenten in dienst te nemen, zonder proefpersoonvergoedingen te declareren etc. Ook in die zin ben ik erg benieuwd naar hóe het gedaan heeft, naast de vraag wat hem in vredesnaam gedreven heeft.
Ik voel de opmerkingen als zou ik nogal naief zijn wel aankomen. Natuurlijk is er grote druk tot publiceren en bij het publiceren gaat het ook vaak mis met het op waarde schatten een null-resultaat... ze zijn ongelooflijk veel moeilijker om gepubliceerd te krijgen. Publicatie bias (dat wel-resultaten over een onderwerp meer gepubliceerd worden dan de ook-bestaande null-resultaten) is een heel reëel probleem. Dat brengt mij dan ook bij de meta-analyses die jij aanhaalt, Jaap.
Een meta-analyse kan verschillende vormen aannemen en verschillende dingen aantonen, maar één van de dingen die kan worden aangetoond met een meta-analyse is het bestaan van publicatie bias over een bepaald onderwerp, door middel van funnel plot analyse. Met meta-analyses kan ook een inschatting worden gemaakt van hoe groot (of klein) een effect nou werkelijk is doordat studies met meer deelnemers 'zwaarder' worden gewogen dan studies met minder deelnemers. Doordat null-resultaten gevonden in grote groepen vaker gepubliceerd worden dan null-resultaten in kleine groepen en doordat wel-resultaten op een niet bestaand effect vaker met kleine groepen worden gevonden is een meta-analyse een hele belangrijke tool, waarmee je bijvoorbeeld zou kunnen ontdekken dat het effect van een bepaalde behandeling welke in 15 kleine studies is gevonden maar in 3 grote studies niet, eigenlijk niet bestaat.
Maar... ik begrijp dat jij het eigenlijk wil hebben over het peer-review systeem, Jaap? Heb je wel juist voor ogen wat dat inhoudt, gezien je eerder opmerkingen over dat 'peers zich niet geroepen zouden voelen om te dupliceren'. Dat is zeer zeker niet het idee achter peer-review. Het idee is wél dat de peers het manuscript extra kritisch lezen, de keuzes die gemaakt zijn t.a.v. de onderzoeksopzet, dataselectie, data-analyse en interpretatie evalueren. Een paper op basis van gefingeerde data kan deze 'test' heel prima doorstaan want de ruwe dataset zelf wordt niet onderzocht. En daar zit dus inderdaad een probleem.
Een probleem met een redelijk eenvoudige oplossing ook. Het meeleveren van ruwe datasets bij het aanbieden van een paper voor publicaties. Journals als Nature, Science en het merendeel van de medische journals stellen dit al verplicht. Het leeuwendeel van psychologische tijdschriften (en heel veel andere vakgebiede ook trouwens) niet. Op zo'n ruwe dataset kunnen een aantal checks worden uitgevoerd die kunnen indiceren of data wel of niet echt kan zijn. Zie ook het ingezonden stuk in de volkskrant van een aantal collega's dat hiervoor pleit. Dit zou geen absoluut geen vervanging zijn van het peer-review systeem (wat mijn insziens ook niet aangetast is door deze affaire) maar een aanvulling.
In elke stap van elk onderzoek moeten keuzes worden gemaakt: wanneer je je voorneemt om 100 mensen te testen en na 50 deelnemers doe je een analyse en je vind je gewenste effect wel of niet, kun je besluiten te stoppen. Dat mag ab-so-luut niet. Afwijkende datapunten in een set worden vaak geïdentificeerd maar daar kun je verschillende 'stelregels' voor gebruiken. Daarna zijn er een aantal opties om hun invloed te verminderen: de datapunten verwijderen, aanpassen, een andere maat nemen (mediaan, of log transformaties i.p.v. het 'ruwe' gemiddelde) of gewoon laten zitten. Deelnemers bij wie de testprocedure op grotere of kleinere punten 'anders' is gelopen dan bij de rest of deelnemers die op een of andere manier af blijken te wijken van de rest: meenemen of eruit gooien? Zo zijn er tal van keuzes te maken en peer review dient er zeker ook voor om dit soort keuzes door de onderzoeker te evalueren. Sowieso heeft de onderzoeker keuzes te maken over welke datasets wel of niet tot een paper worden verwerkt... (en ook daar heeft de medische wetenschap een mooi systeem voor: onderzoeken moeten vooraf aangemeld worden, met allerhande details over de opzet, en ze moeten dan ook opgeschreven en ter publicatie aangeboden worden). Stapel pleegde een bijzonder grove vorm van fraude, waarvan ik denk dat het zelden voorkomt. Mildere vormen van fraude zijn denk ik wel vaker voorkomend, maar niet zelden ontstaat dat eerder uit domheid/onwetendheid en/of goede bedoelingen dan dat er bewust gefraudeerd wordt.
Al met al: Stapel heeft op een ongekende wijze gefraudeerd, en collega's zijn geschokt en verbijsterd. Zijn fraude vreet vind ik niet aan de waarde van het peer-review systeem, wel aan de geloofwaardigheid van de (psychologische) wetenschap. Het maakt duidelijk dat ook de psychologische wetenschap behoefte heeft aan strakkere controlesystemen (datasets inleveren, bepaalde criteria mbt duidelijkheid over oorsprong data in de papers en een onderzoeken-vooraf-aanmelden-systeem). Een stukje onschuld en goed vertrouwen tussen collega's onderling is ook zeker aangevreten. Dat laatste kunnen we in zeker zin ook toejuichen, een kritische houding is de basis van wetenschap en we zijn denk ik wel allemaal even goed wakker geschud. Blijft over het ontzettend onwerkelijke drama voor studenten en directe collega's van Stapel. Het is niet ondenkbaar dat oud AiO's van Stapel hun titel gaan verliezen en dat huidige AiO's een deel van hun proefschrift nu zien 'wegsmelten'. Terecht, ja, maar wel heel wrang en zuur wanneer zij echt ter goeder trouw waren toen zij datasets van hem aannamen.
Ik voel de opmerkingen als zou ik nogal naief zijn wel aankomen. Natuurlijk is er grote druk tot publiceren en bij het publiceren gaat het ook vaak mis met het op waarde schatten een null-resultaat... ze zijn ongelooflijk veel moeilijker om gepubliceerd te krijgen. Publicatie bias (dat wel-resultaten over een onderwerp meer gepubliceerd worden dan de ook-bestaande null-resultaten) is een heel reëel probleem. Dat brengt mij dan ook bij de meta-analyses die jij aanhaalt, Jaap.
Een meta-analyse kan verschillende vormen aannemen en verschillende dingen aantonen, maar één van de dingen die kan worden aangetoond met een meta-analyse is het bestaan van publicatie bias over een bepaald onderwerp, door middel van funnel plot analyse. Met meta-analyses kan ook een inschatting worden gemaakt van hoe groot (of klein) een effect nou werkelijk is doordat studies met meer deelnemers 'zwaarder' worden gewogen dan studies met minder deelnemers. Doordat null-resultaten gevonden in grote groepen vaker gepubliceerd worden dan null-resultaten in kleine groepen en doordat wel-resultaten op een niet bestaand effect vaker met kleine groepen worden gevonden is een meta-analyse een hele belangrijke tool, waarmee je bijvoorbeeld zou kunnen ontdekken dat het effect van een bepaalde behandeling welke in 15 kleine studies is gevonden maar in 3 grote studies niet, eigenlijk niet bestaat.
Maar... ik begrijp dat jij het eigenlijk wil hebben over het peer-review systeem, Jaap? Heb je wel juist voor ogen wat dat inhoudt, gezien je eerder opmerkingen over dat 'peers zich niet geroepen zouden voelen om te dupliceren'. Dat is zeer zeker niet het idee achter peer-review. Het idee is wél dat de peers het manuscript extra kritisch lezen, de keuzes die gemaakt zijn t.a.v. de onderzoeksopzet, dataselectie, data-analyse en interpretatie evalueren. Een paper op basis van gefingeerde data kan deze 'test' heel prima doorstaan want de ruwe dataset zelf wordt niet onderzocht. En daar zit dus inderdaad een probleem.
Een probleem met een redelijk eenvoudige oplossing ook. Het meeleveren van ruwe datasets bij het aanbieden van een paper voor publicaties. Journals als Nature, Science en het merendeel van de medische journals stellen dit al verplicht. Het leeuwendeel van psychologische tijdschriften (en heel veel andere vakgebiede ook trouwens) niet. Op zo'n ruwe dataset kunnen een aantal checks worden uitgevoerd die kunnen indiceren of data wel of niet echt kan zijn. Zie ook het ingezonden stuk in de volkskrant van een aantal collega's dat hiervoor pleit. Dit zou geen absoluut geen vervanging zijn van het peer-review systeem (wat mijn insziens ook niet aangetast is door deze affaire) maar een aanvulling.
In elke stap van elk onderzoek moeten keuzes worden gemaakt: wanneer je je voorneemt om 100 mensen te testen en na 50 deelnemers doe je een analyse en je vind je gewenste effect wel of niet, kun je besluiten te stoppen. Dat mag ab-so-luut niet. Afwijkende datapunten in een set worden vaak geïdentificeerd maar daar kun je verschillende 'stelregels' voor gebruiken. Daarna zijn er een aantal opties om hun invloed te verminderen: de datapunten verwijderen, aanpassen, een andere maat nemen (mediaan, of log transformaties i.p.v. het 'ruwe' gemiddelde) of gewoon laten zitten. Deelnemers bij wie de testprocedure op grotere of kleinere punten 'anders' is gelopen dan bij de rest of deelnemers die op een of andere manier af blijken te wijken van de rest: meenemen of eruit gooien? Zo zijn er tal van keuzes te maken en peer review dient er zeker ook voor om dit soort keuzes door de onderzoeker te evalueren. Sowieso heeft de onderzoeker keuzes te maken over welke datasets wel of niet tot een paper worden verwerkt... (en ook daar heeft de medische wetenschap een mooi systeem voor: onderzoeken moeten vooraf aangemeld worden, met allerhande details over de opzet, en ze moeten dan ook opgeschreven en ter publicatie aangeboden worden). Stapel pleegde een bijzonder grove vorm van fraude, waarvan ik denk dat het zelden voorkomt. Mildere vormen van fraude zijn denk ik wel vaker voorkomend, maar niet zelden ontstaat dat eerder uit domheid/onwetendheid en/of goede bedoelingen dan dat er bewust gefraudeerd wordt.
Al met al: Stapel heeft op een ongekende wijze gefraudeerd, en collega's zijn geschokt en verbijsterd. Zijn fraude vreet vind ik niet aan de waarde van het peer-review systeem, wel aan de geloofwaardigheid van de (psychologische) wetenschap. Het maakt duidelijk dat ook de psychologische wetenschap behoefte heeft aan strakkere controlesystemen (datasets inleveren, bepaalde criteria mbt duidelijkheid over oorsprong data in de papers en een onderzoeken-vooraf-aanmelden-systeem). Een stukje onschuld en goed vertrouwen tussen collega's onderling is ook zeker aangevreten. Dat laatste kunnen we in zeker zin ook toejuichen, een kritische houding is de basis van wetenschap en we zijn denk ik wel allemaal even goed wakker geschud. Blijft over het ontzettend onwerkelijke drama voor studenten en directe collega's van Stapel. Het is niet ondenkbaar dat oud AiO's van Stapel hun titel gaan verliezen en dat huidige AiO's een deel van hun proefschrift nu zien 'wegsmelten'. Terecht, ja, maar wel heel wrang en zuur wanneer zij echt ter goeder trouw waren toen zij datasets van hem aannamen.
zondag 11 september 2011 om 14:42
Dat is te merken Je tekst is overigens heel duidelijk en leesbaar. Wat ik me afvraag: zo'n dataset meesturen lijkt me op zich een goed idee, maar kun je daar alles mee uitfilteren? Als iemand daar gewoon handmatig in heeft zitten rommelen (pp's uit e ene conditie wat hogere scores op een aantal variabelen, pp's uit de andere condities lagere scores, et cetera), waar kan men dan op letten?
zondag 11 september 2011 om 15:21
Dank voor het compliment!
Voorop gesteld: als iemand zou willen frauderen op de wijze waarop Stapel dat deed, dan kan dat altijd, dat is vrijwel niet tegen te houden (zonder gigantische workload in de vorm van "alles controlerende instanties", overigens bestaat het in de medische wetenschap wel: commissies die steeksproefsgewijs alles willen inzien, bij dat soort onderzoeken moet zelfs iedere wijziging die in de formulieren die tijdens het onderzoek worden ingevuld (schrijffouten in bloedwaarden e.d.) worden voorzien van een datum, uitleg en paraaf onderzoeker). Inleveren/analyse van ruwe datasets is zeker niet zaligmakend, maar zou wel een grote stap vooruit zijn.
Allereerst is er natuurlijk een psychologische drempel, wanneer anderen je data kunnen checken. Daarnaast gaf draaiorgel een mooi voorbeeld: een andere, vaker bewezen, hypothese toetsen op dezelfde data om te zien of die er ook uit komt. Verder schijn je algoritmes te kunnen bedenken (maar daar ben ik niet statisticus genoeg voor) die kunnen detecteren of data niet iets té goed past in de hypothese en iets té veel afwijkt van wat je zou verwachten van echte data, die altijd een bepaalde mate van 'error' heeft. En er zijn tendenties waar je op kunt checken. Elk verwacht effect heeft een bepaalde grootte die je weliswaar niet precies weet, maar een dataset met een veel groter/sterker effect dan je zou verwachten bij dat type hypothese is bij voorbaat verdacht. Er is ook zoiets als 'regressie tot het gemiddelde', wat een wat ingewikkeld concept is om uit te leggen, maar het komt op het volgende neer: stel dat ik onderzoek doe naar een 'behandeling' tegen aggressie en dat ik daarvoor mijn deelnemers selecteer op basis van een vragenlijst o.i.d. zodat ik mensen heb die hoger dan gemiddeld scoren op 'agressie'. De ene helft geef ik de behandeling en de andere een controle 'behandeling' (placebo of 'niks' in de vorm van een 'wait list control group', een groep mensen die nog wacht op behandeling). Omdat de meting die ik vooraf deed een bepaalde mate van error had (zoals elke meting), heeft de nameting die ook, maar de voormeting deed ik op een 'bredere' groep waarin het gemiddelde lager lag dan in de groep van de nameting (ik had immers uit de voormeting alleen diegenen die hoog scoorden geselecteerd voor de nameting), verschuift de error en daarom móet de nameting met een lagere gemiddelde waarde in die subgroep uitkomen dan de gemiddelde waarde die in diezelfde subgroup gevonden werd bij de voormeting. Dit effect komt bovenop een eventueel placebo effect, maar is er niet van te onderscheiden. Hoe het ook zij: wanneer de controle groep niet verbeterd tijdens het onderzoek, is er iets geks aan de hand met je data. Zo zijn er nog wel wat dingetjes te bedenken, een en ander hangt ook af van het type onderzoek etc. Het fingeren van data die aan al dit soort voorwaarden voldoet is zeker niet onmogelijk, wel lastiger, je weet ook niet wat een ander kan bedenken aan 'check-hypothesen'.
Overigens zie je best wel eens papers voorbij komen waarin gekke dingen gebeuren (zoals geen regressie tot gemiddelde, overdadig grote effecten, of kun je uit tabelletjes opmaken dat er op een niet-verder-geteste maat dingen níet gebeuren die je wél zou verwachten) waardoor je je oprecht afvraagt of de reviewers hebben liggen slapen of toevallig goede vriendjes van de auteurs zijn. Gebeurt absoluut en zeker weten, maar juist daarom zou het mooi zijn wanneer je de data zelf zou kunnen inkijken op een server en je je twijfels kunt testen vóórdat je ze ventileert (zoals het nu is, zou je in principe datasets moeten kunnen opvragen bij de onderzoeker, maar dat is nogal een drempel, je wilt toch iets van een reden opgeven waarom je dat wil doen, wellicht zit je er helemaal naast met je twijfels maar dan weet die ander dat wél en zoals hier blijkt, krijg je de data ook lang niet altijd).
Voorop gesteld: als iemand zou willen frauderen op de wijze waarop Stapel dat deed, dan kan dat altijd, dat is vrijwel niet tegen te houden (zonder gigantische workload in de vorm van "alles controlerende instanties", overigens bestaat het in de medische wetenschap wel: commissies die steeksproefsgewijs alles willen inzien, bij dat soort onderzoeken moet zelfs iedere wijziging die in de formulieren die tijdens het onderzoek worden ingevuld (schrijffouten in bloedwaarden e.d.) worden voorzien van een datum, uitleg en paraaf onderzoeker). Inleveren/analyse van ruwe datasets is zeker niet zaligmakend, maar zou wel een grote stap vooruit zijn.
Allereerst is er natuurlijk een psychologische drempel, wanneer anderen je data kunnen checken. Daarnaast gaf draaiorgel een mooi voorbeeld: een andere, vaker bewezen, hypothese toetsen op dezelfde data om te zien of die er ook uit komt. Verder schijn je algoritmes te kunnen bedenken (maar daar ben ik niet statisticus genoeg voor) die kunnen detecteren of data niet iets té goed past in de hypothese en iets té veel afwijkt van wat je zou verwachten van echte data, die altijd een bepaalde mate van 'error' heeft. En er zijn tendenties waar je op kunt checken. Elk verwacht effect heeft een bepaalde grootte die je weliswaar niet precies weet, maar een dataset met een veel groter/sterker effect dan je zou verwachten bij dat type hypothese is bij voorbaat verdacht. Er is ook zoiets als 'regressie tot het gemiddelde', wat een wat ingewikkeld concept is om uit te leggen, maar het komt op het volgende neer: stel dat ik onderzoek doe naar een 'behandeling' tegen aggressie en dat ik daarvoor mijn deelnemers selecteer op basis van een vragenlijst o.i.d. zodat ik mensen heb die hoger dan gemiddeld scoren op 'agressie'. De ene helft geef ik de behandeling en de andere een controle 'behandeling' (placebo of 'niks' in de vorm van een 'wait list control group', een groep mensen die nog wacht op behandeling). Omdat de meting die ik vooraf deed een bepaalde mate van error had (zoals elke meting), heeft de nameting die ook, maar de voormeting deed ik op een 'bredere' groep waarin het gemiddelde lager lag dan in de groep van de nameting (ik had immers uit de voormeting alleen diegenen die hoog scoorden geselecteerd voor de nameting), verschuift de error en daarom móet de nameting met een lagere gemiddelde waarde in die subgroep uitkomen dan de gemiddelde waarde die in diezelfde subgroup gevonden werd bij de voormeting. Dit effect komt bovenop een eventueel placebo effect, maar is er niet van te onderscheiden. Hoe het ook zij: wanneer de controle groep niet verbeterd tijdens het onderzoek, is er iets geks aan de hand met je data. Zo zijn er nog wel wat dingetjes te bedenken, een en ander hangt ook af van het type onderzoek etc. Het fingeren van data die aan al dit soort voorwaarden voldoet is zeker niet onmogelijk, wel lastiger, je weet ook niet wat een ander kan bedenken aan 'check-hypothesen'.
Overigens zie je best wel eens papers voorbij komen waarin gekke dingen gebeuren (zoals geen regressie tot gemiddelde, overdadig grote effecten, of kun je uit tabelletjes opmaken dat er op een niet-verder-geteste maat dingen níet gebeuren die je wél zou verwachten) waardoor je je oprecht afvraagt of de reviewers hebben liggen slapen of toevallig goede vriendjes van de auteurs zijn. Gebeurt absoluut en zeker weten, maar juist daarom zou het mooi zijn wanneer je de data zelf zou kunnen inkijken op een server en je je twijfels kunt testen vóórdat je ze ventileert (zoals het nu is, zou je in principe datasets moeten kunnen opvragen bij de onderzoeker, maar dat is nogal een drempel, je wilt toch iets van een reden opgeven waarom je dat wil doen, wellicht zit je er helemaal naast met je twijfels maar dan weet die ander dat wél en zoals hier blijkt, krijg je de data ook lang niet altijd).
zondag 11 september 2011 om 15:44
Oh, ik vergeet nog een belangrijke: mutlivariate normaalheid. Neem dat aggressie onderzoek voorbeeld, ik heb dan een maat van aggressie, maar daarnaast ook bijvoorbeeld nog leeftijd en erm... aantal maanden vegetarisch zijn (). Ieder van die variabelen moet normaal verdeeld zijn (immers: steekproef), maar ook onderling (dus in een 3D-ruimte, zeg maar) moeten ze normaal verdeeld zijn. En dat kan getest worden voor drie variabelen, maar ook voor 4, 5 6, x variabelen en iedere combinatie van een x aantal variabelen... een paar 'uitliggers' mag, maar niet teveel... een dataset fingeren die daaraan voldoet én je hypothese staaft, is denk ik, best heel pittig.
zondag 11 september 2011 om 15:56
Ik onderschrijf alles wat zeniiba zegt 
Ik had geen zin om zo lang te typen
Maar, de AIO's die ik ken, die verzamelen zelf hun data. Die krijgen ze niet van hun prof. Dus ik hoop dat het met intrekken van titels nog wel mee zal vallen. Publicaties waar ze co-auteur zijn is een ander verhaal.
Ik vraag me ook nog steeds af hoe dit heeft kunnen gebeuren. En denk ik dan, als je al zo wil frauderen, vul dan inderdaad gewoon die ruwe data maar in. Dus ga lekker zelf 100 vragenlijsten invullen, zodat je, mocht iemand er naar vragen die 100 vragenlijsten kan overhandigen.
Ik ben net zo naief, want ik denk ook dat dit niet op grote schaal voorkomt. Data verzinnen. Wél data interpreteren, of data inderdaad aanpassen om een medicijn toch beter uit de bus te laten komen dan de placebo. Maar weet je, ik denk dus echt dat dit dus juist vaker voorkomt bij niet-sociale wetenschappen!
De sociale wetenschap weet dat ze met mensen te maken hebben, die weten dat daar een subjectieve interpretatie bij kan horen. Daarom werken we met meer raters en berekenen we inter-rater reliability. (de maat waarin de raters het eens of oneens zijn, en dus hetzelfde scoren, lang verhaal).
Sociale wetenschappen worden zelden betaald door het bedrijfsleven, dus hebben geen baat bij bepaalde uitkomsten.
In de medische wereld is dit veel erger.
Ik blijf het raar vinden hoe Stapel die zo lang heeft kunnen doen. Ik vraag me af of er niet meer mensen van wisten. Hoe lang kun je dit doen zonder dat het opvalt? Inderdaad, die proefpersonen declaraties, of bezoeken aan het lab, of ...... dat kan hij toch niet allemaal alleen gedaan hebben?
En: een prof die eigen data verzameld, dat zie ik ook zelden eigenlijk.
Ik had geen zin om zo lang te typen Maar, de AIO's die ik ken, die verzamelen zelf hun data. Die krijgen ze niet van hun prof. Dus ik hoop dat het met intrekken van titels nog wel mee zal vallen. Publicaties waar ze co-auteur zijn is een ander verhaal.
Ik vraag me ook nog steeds af hoe dit heeft kunnen gebeuren. En denk ik dan, als je al zo wil frauderen, vul dan inderdaad gewoon die ruwe data maar in. Dus ga lekker zelf 100 vragenlijsten invullen, zodat je, mocht iemand er naar vragen die 100 vragenlijsten kan overhandigen.
Ik ben net zo naief, want ik denk ook dat dit niet op grote schaal voorkomt. Data verzinnen. Wél data interpreteren, of data inderdaad aanpassen om een medicijn toch beter uit de bus te laten komen dan de placebo. Maar weet je, ik denk dus echt dat dit dus juist vaker voorkomt bij niet-sociale wetenschappen!
De sociale wetenschap weet dat ze met mensen te maken hebben, die weten dat daar een subjectieve interpretatie bij kan horen. Daarom werken we met meer raters en berekenen we inter-rater reliability. (de maat waarin de raters het eens of oneens zijn, en dus hetzelfde scoren, lang verhaal).
Sociale wetenschappen worden zelden betaald door het bedrijfsleven, dus hebben geen baat bij bepaalde uitkomsten.
In de medische wereld is dit veel erger.
Ik blijf het raar vinden hoe Stapel die zo lang heeft kunnen doen. Ik vraag me af of er niet meer mensen van wisten. Hoe lang kun je dit doen zonder dat het opvalt? Inderdaad, die proefpersonen declaraties, of bezoeken aan het lab, of ...... dat kan hij toch niet allemaal alleen gedaan hebben?
En: een prof die eigen data verzameld, dat zie ik ook zelden eigenlijk.
zondag 11 september 2011 om 15:58
quote:zeniiba schreef op 11 september 2011 @ 15:44:
Oh, ik vergeet nog een belangrijke: mutlivariate normaalheid. Neem dat aggressie onderzoek voorbeeld, ik heb dan een maat van aggressie, maar daarnaast ook bijvoorbeeld nog leeftijd en erm... aantal maanden vegetarisch zijn (). Ieder van die variabelen moet normaal verdeeld zijn (immers: steekproef), maar ook onderling (dus in een 3D-ruimte, zeg maar) moeten ze normaal verdeeld zijn. En dat kan getest worden voor drie variabelen, maar ook voor 4, 5 6, x variabelen en iedere combinatie van een x aantal variabelen... een paar 'uitliggers' mag, maar niet teveel... een dataset fingeren die daaraan voldoet én je hypothese staaft, is denk ik, best heel pittig.
Maar ik denk dat hij dat niet gedaan heeft, dat kost meer tijd en moeite dan de data gewoon verzamelen....
Daarom vind ik dat zijn co-auteurs ook 'schuldig' zijn eigenlijk......
Oh, ik vergeet nog een belangrijke: mutlivariate normaalheid. Neem dat aggressie onderzoek voorbeeld, ik heb dan een maat van aggressie, maar daarnaast ook bijvoorbeeld nog leeftijd en erm... aantal maanden vegetarisch zijn (). Ieder van die variabelen moet normaal verdeeld zijn (immers: steekproef), maar ook onderling (dus in een 3D-ruimte, zeg maar) moeten ze normaal verdeeld zijn. En dat kan getest worden voor drie variabelen, maar ook voor 4, 5 6, x variabelen en iedere combinatie van een x aantal variabelen... een paar 'uitliggers' mag, maar niet teveel... een dataset fingeren die daaraan voldoet én je hypothese staaft, is denk ik, best heel pittig.
Maar ik denk dat hij dat niet gedaan heeft, dat kost meer tijd en moeite dan de data gewoon verzamelen....
Daarom vind ik dat zijn co-auteurs ook 'schuldig' zijn eigenlijk......
zondag 11 september 2011 om 16:04
Over hoe lang onderzoeken 'besmet' zijn met input van de gefingeerde data, ik weet het niet. Ik weet niet hoeveel studies er voortborduren op zijn bevindingen. Maar dat kunnen er m.i. niet veel zijn. Want, zo goed data verzinnen dat wat jij verzint ook in lijn is met de aangepaste hypotheses, net andere blik of weet ik het, van andere onderzoekers, dat is heeeeel knap en eigenlijk onmogelijk. Er moet dus al veel eerder iets aan het licht gekomen zijn, goh, Diederik, wat jij daar en daar beschrijft, ik vind juist het tegenovergestelde.
Ik leer mijn studenten altijd om hun bevindingen te vergelijken met en bespreken in het licht van ander onderzoek.Dan moet er toch steeds iets vreemds zijn geweest?
Aangezien hij zo lang door kon gaan, denk ik dat het met zijn invloed nog wel mee viel. Hij vond vooral zichzelf geweldig en wilde graag in de krant.
Ik leer mijn studenten altijd om hun bevindingen te vergelijken met en bespreken in het licht van ander onderzoek.Dan moet er toch steeds iets vreemds zijn geweest?
Aangezien hij zo lang door kon gaan, denk ik dat het met zijn invloed nog wel mee viel. Hij vond vooral zichzelf geweldig en wilde graag in de krant.
zondag 11 september 2011 om 16:50
Ja, en tegelijkertijd... stél dat er iets vreemds is. Dat je vermoed dat er in een bepaalde groep data wordt geselecteerd voor publicatie, omdat deze groep stelselmatig fantastische resultaten vind, terwijl je via via, uit de tamtam, weet dat heel veel andere mensen deze resultaten niet kunnen repliceren, maar deze non-replicaties ook niet gepubliceerd krijgen. Een collega van mij onderzoekt iets waar zo'n situatie speelt. Eerlijk gezegd weet ik ook niet hoe dat nou het meest effectief aan de kaak te stellen valt.
Aan de mensen die niet in de wetenschap werken, om dit topic nou niet tot een geheel academisch feestje te maken: wat is voor jullie de conclusie uit de affaire Stapel? Wetenschappers onderling kunnen het wel heel fantastisch met elkaar eens zijn dat dit een uitzondering is etc, maar er is ongetwijfeld schade aan het imago van de (psychologische?) wetenschap in de ogen van non-academici? Of valt dat wel mee want was het beeld sowieso al niet zo positief of doet het je gewoon eigenlijk uberhaupt niet zoveel? Wat zouden wetenschappers kunnen/moeten doen (of laten?) om geloofwaardigheid te herstellen?
Aan de mensen die niet in de wetenschap werken, om dit topic nou niet tot een geheel academisch feestje te maken: wat is voor jullie de conclusie uit de affaire Stapel? Wetenschappers onderling kunnen het wel heel fantastisch met elkaar eens zijn dat dit een uitzondering is etc, maar er is ongetwijfeld schade aan het imago van de (psychologische?) wetenschap in de ogen van non-academici? Of valt dat wel mee want was het beeld sowieso al niet zo positief of doet het je gewoon eigenlijk uberhaupt niet zoveel? Wat zouden wetenschappers kunnen/moeten doen (of laten?) om geloofwaardigheid te herstellen?
maandag 12 september 2011 om 19:24
Je hebt fraude en fraude... Het type fraude waarover we het hier hebben is van een categorie waardoor de wetenschapper zijn 'product' niet levert, zelfs het tegenovergestelde daarvan: leugens in plaats van waarheid. In heel veel beroepen wordt ongetwijfeld gefraudeerd, maar zonder dat het 'eindproduct' daarmee direct geweld wordt aangedaan. Een kapster kan frauderen in haar boekhouding, maar een kapsel 'omfrauderen' gaat niet. Ze levert wél het product, ze doet wél haar werk. Een vuilnisman kan geen vuilnis wegfrauderen, een schoonmaker kan een kantoor niet 'schoonfrauderen'. In de zakelijke wereld is het product (of één van de producten) 'geld verdienen'. Door te frauderen kun je in zekere zin je werk beter doen, want meer geld verdienen/product leveren (pervers en paradoxaal genoeg). Dat is dan op een wijze die we afkeuren, dus frauduleus, maar niet een vorm van fraude die het eindproduct geweld aandoet. Wat Stapel heeft gedaan is niet zomaar een fraude waaraan hij wellicht status en geld 'verdiend' heeft, maar ook een fraude waardoor hij zijn 'product', namelijk waarheid, niet geleverd heeft. En dat is denk ik een heel zeldzame vorm van fraude, in wetenschap, maar ook in andere beroepen.
Dus: nee, wetenschappers zijn niet per se moreler dan andere mensen, maar de fraude die hier gepleegd werd (een type waardoor het 'product' volstrekt het tegenovergesteld is geworden van wat het had moeten zijn) is heel zeldzaam, óók in de wetenschap.
Dus: nee, wetenschappers zijn niet per se moreler dan andere mensen, maar de fraude die hier gepleegd werd (een type waardoor het 'product' volstrekt het tegenovergesteld is geworden van wat het had moeten zijn) is heel zeldzaam, óók in de wetenschap.
