Actueel
alle pijlers
Diederik Stapel
vrijdag 9 september 2011 om 09:37
Diederik Stapel was, zoals NRC het noemde, 'de Golden Boy' van de psychologie. Gevierd in binnen- en buitenland. Met een enorme productie aan publicaties in 'peer reviewed' vakbladen. Totdat deze week uitkwam dat hij grossierde in onderzoeksfraude.
Talloze verreikende conclusies, gebaseerd op verzonnen onderzoeken, wereldwijd overgenomen door 'peers', die er op hun beurt weer politici mee bedienen, op zoek zijn naar 'vakkennis' om hun beleid te schragen.
Het is de zoveelste nagel in de doodskist van het primaat van de 'menswetenschappen' als bron voor kennis over wat ons motiveert. Want dit geval staat nou niet bepaald op zichzelf. En ik kan mij voorstellen dat integere, minder op status gerichte onderzoekers in die discipline, wanhopig worden van dit soort nieuws over hun vakgebied. Het onderstreept de fundamentele zwakte van het systeem van 'peer review'.
Het zal nog járen duren voor de frauduleuze 'resultaten' van Stapel's verzonnen onderzoeken uit het systeem gefilterd zijn. Als dat al de wens van de 'branche' zou zijn. Want in een stuk of wat andere gevallen waar onderzoek naar de prullenbak is verwezen, blijven 'menswetenschappers' onverstoord het gewraakte materiaal gebruiken, omdat het goed verkoopt. En blijven de 'onderzoekers' gewoon publiceren.
Talloze verreikende conclusies, gebaseerd op verzonnen onderzoeken, wereldwijd overgenomen door 'peers', die er op hun beurt weer politici mee bedienen, op zoek zijn naar 'vakkennis' om hun beleid te schragen.
Het is de zoveelste nagel in de doodskist van het primaat van de 'menswetenschappen' als bron voor kennis over wat ons motiveert. Want dit geval staat nou niet bepaald op zichzelf. En ik kan mij voorstellen dat integere, minder op status gerichte onderzoekers in die discipline, wanhopig worden van dit soort nieuws over hun vakgebied. Het onderstreept de fundamentele zwakte van het systeem van 'peer review'.
Het zal nog járen duren voor de frauduleuze 'resultaten' van Stapel's verzonnen onderzoeken uit het systeem gefilterd zijn. Als dat al de wens van de 'branche' zou zijn. Want in een stuk of wat andere gevallen waar onderzoek naar de prullenbak is verwezen, blijven 'menswetenschappers' onverstoord het gewraakte materiaal gebruiken, omdat het goed verkoopt. En blijven de 'onderzoekers' gewoon publiceren.
vrijdag 9 september 2011 om 09:43
vrijdag 9 september 2011 om 09:59
In ieder geval is Diederik Stapel direct op non-actief gesteld. Wat dat betreft is het zelfreinigend vermogen van een universiteit beter dan dat van de Tweede Kamers (Mariko Peters) of de gemeente Utrecht (Aleid Wolfsen).
Verder denk ik dat psychologie als vakgebied bij uitstek blootstaat aan narratieve misleiding. Daarmee bedoel ik dat mensen geneigd zijn om verbanden en verklaringen te zien, om patronen te zoeken. En als we zo'n patroon gevonden te hebben dat ook nog aansluit bij een bepaald progressief wereldbeeld ('vleeseters zijn egoistisch') hebben we geen oog meer voor nuances en voor mogelijk bewijs dat het allemaal toch wat genuanceerder ligt.
Ik praat hier expres in de wij-vorm omdat deze 'narrative fallacy' zit ingebakken in de manier waarop onze hersenen werken.
Bij een vak als psychologie of economie komt deze 'narrative fallacy' vrij snel om de hoek kijken.
Een natuurkundige of wiskundige werkt in een wereld waar dingen meetbaar en onveranderbaar zijn: zwaartekracht, snelheid van licht etc etc zijn nauwkeurig te bepalen en als je ze eenmaal weet universeel toepasbaar.
Economie en menselijk gedrag zijn heel wat diffuser. Wat gebeurt er met de inflatie of de economische groei als de ECB de rente verhoogd? Wat zijn precies de motieven van een vleeseter? Dit soort dingen zijn nogal ongrijpbaar en daarom gevoelig voor mooie verhalen die weinig hout snijden. Het is jammer dat zelfs een hoogleraar in deze valkuil trapt.
Verder denk ik dat psychologie als vakgebied bij uitstek blootstaat aan narratieve misleiding. Daarmee bedoel ik dat mensen geneigd zijn om verbanden en verklaringen te zien, om patronen te zoeken. En als we zo'n patroon gevonden te hebben dat ook nog aansluit bij een bepaald progressief wereldbeeld ('vleeseters zijn egoistisch') hebben we geen oog meer voor nuances en voor mogelijk bewijs dat het allemaal toch wat genuanceerder ligt.
Ik praat hier expres in de wij-vorm omdat deze 'narrative fallacy' zit ingebakken in de manier waarop onze hersenen werken.
Bij een vak als psychologie of economie komt deze 'narrative fallacy' vrij snel om de hoek kijken.
Een natuurkundige of wiskundige werkt in een wereld waar dingen meetbaar en onveranderbaar zijn: zwaartekracht, snelheid van licht etc etc zijn nauwkeurig te bepalen en als je ze eenmaal weet universeel toepasbaar.
Economie en menselijk gedrag zijn heel wat diffuser. Wat gebeurt er met de inflatie of de economische groei als de ECB de rente verhoogd? Wat zijn precies de motieven van een vleeseter? Dit soort dingen zijn nogal ongrijpbaar en daarom gevoelig voor mooie verhalen die weinig hout snijden. Het is jammer dat zelfs een hoogleraar in deze valkuil trapt.
vrijdag 9 september 2011 om 10:15
quote:Blyt schreef op 09 september 2011 @ 09:43:
Welke gevallen zijn dat dan?
Verder: het onderstreept niet de fundamentele zwakte van peer-review als validatie- en controle-systeem, het onderstreept de fundamentele zwakte van de wetenschap in zijn geheel: de mens en zijn verlangen om bij een gemeenschap te horen.
Er zijn mij twee gevallen bekend, waarin wetenschappers met een geweten (een neuroloog en een fysicus) nep-artikelen, vol baarlijke nonsense, aanboden aan 'peer-reviewed' vakbladen voor menswetenschappers, en die geplaatst zagen. Waarna ze de publiciteit zochten om aandacht te vragen voor de fundamentele zwakte van het bestaande systeem. Bij de 'exacte wetenschap' is het verrekte lastig om te frauderen. Maar binnen de 'zachte' wetenschappen is het eigenlijk schering-en-inslag.
Een onderwerp dat al decennia lang mijn aandacht heeft, en waar ik op het forum ook regelmatig aanhaak bij discussies, is de opvoeding van kinderen. Tal van publicaties in dat 'veld' zijn door statistici met de grond gelijk gemaakt. Notoir is het onderzoek van Murray Straus, dat met grote regelmaat wereldwijd de voorpagina haalt. Dit specifieke aandachtsgebied wordt beheerst door activisten. Ik deel hun hoop voor een betere wereld, en het terugdringen van gevallen van kindermishandeling. Het beschikbare materiaal duidt er echter op dat hun inspanningen exact het tegenovergestelde effect hebben. Maar door de oorspronkelijke Zweedse data arbitrair te 'filteren', en de effecten van andere maatregelen buiten beschouwing te laten, 'bewezen' ze dat wetgeving die slaag verbiedt goed is voor kinderen. Terwijl de échte data exact het tegenovergestelde aantoonden. Dat is, in mijn beleving, niet alleen onethisch, maar zelfs crimineel.
Wat ook bij Stapel, en degenen met wie hij publiceerde, blijkt, is dat zij gedreven worden door 'politiek correcte' opinies. Het 'onderzoek' waarbij 'bewezen' werd dat mensen die rood vlees eten 'hufteriger' zijn dan vegetariërs is een voorbeeld dat je bij kunt schrijven in die lijst, waar ook dat onderzoeksgebied toe behoort dat ik hierboven vermeldde. Het ontbreekt mij aan tijd om al die terreinen uit te pluizen, maar wetenschappers die stelden dat wel te hebben gedaan, zoals Frank Furedi, en erover publiceerden in boeken die ik gelezen heb over het onderwerp, geven mij het gevoel dat we niet buiten een grote schoonmaak kunnen. Niks mis met het hebben van idealen. Maar dit soort praktijken is domweg schadelijk. Niet alleen voor het aanzien van de wetenschap. Maar ook, en zelfs in het bijzonder, voor de samenleving als geheel.
Welke gevallen zijn dat dan?
Verder: het onderstreept niet de fundamentele zwakte van peer-review als validatie- en controle-systeem, het onderstreept de fundamentele zwakte van de wetenschap in zijn geheel: de mens en zijn verlangen om bij een gemeenschap te horen.
Er zijn mij twee gevallen bekend, waarin wetenschappers met een geweten (een neuroloog en een fysicus) nep-artikelen, vol baarlijke nonsense, aanboden aan 'peer-reviewed' vakbladen voor menswetenschappers, en die geplaatst zagen. Waarna ze de publiciteit zochten om aandacht te vragen voor de fundamentele zwakte van het bestaande systeem. Bij de 'exacte wetenschap' is het verrekte lastig om te frauderen. Maar binnen de 'zachte' wetenschappen is het eigenlijk schering-en-inslag.
Een onderwerp dat al decennia lang mijn aandacht heeft, en waar ik op het forum ook regelmatig aanhaak bij discussies, is de opvoeding van kinderen. Tal van publicaties in dat 'veld' zijn door statistici met de grond gelijk gemaakt. Notoir is het onderzoek van Murray Straus, dat met grote regelmaat wereldwijd de voorpagina haalt. Dit specifieke aandachtsgebied wordt beheerst door activisten. Ik deel hun hoop voor een betere wereld, en het terugdringen van gevallen van kindermishandeling. Het beschikbare materiaal duidt er echter op dat hun inspanningen exact het tegenovergestelde effect hebben. Maar door de oorspronkelijke Zweedse data arbitrair te 'filteren', en de effecten van andere maatregelen buiten beschouwing te laten, 'bewezen' ze dat wetgeving die slaag verbiedt goed is voor kinderen. Terwijl de échte data exact het tegenovergestelde aantoonden. Dat is, in mijn beleving, niet alleen onethisch, maar zelfs crimineel.
Wat ook bij Stapel, en degenen met wie hij publiceerde, blijkt, is dat zij gedreven worden door 'politiek correcte' opinies. Het 'onderzoek' waarbij 'bewezen' werd dat mensen die rood vlees eten 'hufteriger' zijn dan vegetariërs is een voorbeeld dat je bij kunt schrijven in die lijst, waar ook dat onderzoeksgebied toe behoort dat ik hierboven vermeldde. Het ontbreekt mij aan tijd om al die terreinen uit te pluizen, maar wetenschappers die stelden dat wel te hebben gedaan, zoals Frank Furedi, en erover publiceerden in boeken die ik gelezen heb over het onderwerp, geven mij het gevoel dat we niet buiten een grote schoonmaak kunnen. Niks mis met het hebben van idealen. Maar dit soort praktijken is domweg schadelijk. Niet alleen voor het aanzien van de wetenschap. Maar ook, en zelfs in het bijzonder, voor de samenleving als geheel.
vrijdag 9 september 2011 om 10:37
Ondernemer, je voorbeelden uit de politiek spreken mij niet echt aan. Stapel was niet uit zijn functie gezet als hij fouten gemaakt had. Fouten maken is menselijk. Het doet afbreuk aan je status in veel gevallen, en daarmee brengt het schade toe aan een partij. Dat kan autonoom een reden zijn om iemand uit een functie te ontheffen, over te plaatsen, of weg te promoveren.
Hier betreft het echter welbewuste fraude. En als je dan equivalenten zoekt in de politiek, kom je niet uit bij Wolfsen of Peters, maar bij de PVV-fractie, waar het wemelt van de types die gelogen hebben om een plekje op het pluche te bemachtigen.
Echter, dan nóg ben ik van mening dat je fraude in de wetenschap, en fraude in de politiek die niet in relatie staat tot de uitgeoefende functie, niet met elkaar moet vergelijken. Fraude in de wetenschap is geen 'lokaal akkefietje', maar raakt aan de kern van ons aller bestaan.
Hier betreft het echter welbewuste fraude. En als je dan equivalenten zoekt in de politiek, kom je niet uit bij Wolfsen of Peters, maar bij de PVV-fractie, waar het wemelt van de types die gelogen hebben om een plekje op het pluche te bemachtigen.
Echter, dan nóg ben ik van mening dat je fraude in de wetenschap, en fraude in de politiek die niet in relatie staat tot de uitgeoefende functie, niet met elkaar moet vergelijken. Fraude in de wetenschap is geen 'lokaal akkefietje', maar raakt aan de kern van ons aller bestaan.
vrijdag 9 september 2011 om 11:02
Ik denk niet dat dit schering en inslag is in de sociale wetenschappen, daarom is iedereen die op Stapel zijn vakgebied werkt zo vreselijk van slag. Het is uniek in zijn omvang en duur.
Het enge vind ik nu dat het vertrouwen in collega's of onderzoekers die je begeleidt aangetast kan worden door deze affaire, maar ik zie er ook een kans in: meer focus leren leggen op kwaliteit, ipv aantallen publicaties.
Overigens word er in de medische wetenschappen met financiele hulp van de pillenindustrie flink data gemasseerd en naar wens geinterpreteerd.
Het enge vind ik nu dat het vertrouwen in collega's of onderzoekers die je begeleidt aangetast kan worden door deze affaire, maar ik zie er ook een kans in: meer focus leren leggen op kwaliteit, ipv aantallen publicaties.
Overigens word er in de medische wetenschappen met financiele hulp van de pillenindustrie flink data gemasseerd en naar wens geinterpreteerd.
vrijdag 9 september 2011 om 11:05
Peer betekent gelijke. Het gaat dus om vakgenoten kritisch naar het gedane onderzoek kijken om zo de kwaliteit van het onderzoek te verbeteren.
Jaap, ik vind je hier erg kort door de bocht gaan wat betreft de conclusies die je trekt. Zo is het bijvoorbeeld ook heel goed mogelijk om bij de exacte wetenschappen te frauderen. Neem bijvoorbeeld Hwang Woo-Su die claimde de eerste menselijke stamcel te hebben gekloond, de kernfysicus Rusi Taleyarkhan en de oncoloog Jon Sudbo die voor het gemak even 250 patienten verzon.
Jaap, ik vind je hier erg kort door de bocht gaan wat betreft de conclusies die je trekt. Zo is het bijvoorbeeld ook heel goed mogelijk om bij de exacte wetenschappen te frauderen. Neem bijvoorbeeld Hwang Woo-Su die claimde de eerste menselijke stamcel te hebben gekloond, de kernfysicus Rusi Taleyarkhan en de oncoloog Jon Sudbo die voor het gemak even 250 patienten verzon.
vrijdag 9 september 2011 om 11:29
Wiesje, wetenschappers hadden altijd al onderling contact om hun bevindingen te kunnen delen, van elkaar te kunnen leren, en eventueel middels kritiek de theoretische kanten van een aspect aan te scherpen. Beroemd zijn de felle discussies tussen Einstein en Bohr, bijvoorbeeld.
Tal van gebieden die voorheen werden bestreken door filosofen, ontwikkelden zich in de vorige eeuw tot aparte vakgebieden. Nou is de filosofie traditioneel een gebied dat aan elkaar hangt van het vermogen van de filosoof om een stelling 'geloofwaardig' over te laten komen. Iets ondubbelzinnig bewijzen, zoals fysici, of mathematici, was er niet bij. Enerzijds door het probleem dat er grote beperkingen zijn bij het beschrijven van een 'systeem' door dat 'systeem' zelf: De mens die zichzelf analyseert en in wetmatigheden beschrijft. Anderzijds omdat de systemen die men onderzoekt dusdanig complex zijn, dat de beweging van de vleugel van een vlinder in Australië, een tropische storm in Florida tot gevolg kan hebben. (Butterfly-effect).
Die afgesplitste vakgebieden hebben het 'peer review' systeem omarmd, wat in de praktijk dan een 'consensus-doctrine' wordt: Krijg je het voor elkaar om te worden 'gepubliceerd'? Dan is je stelling dus 'waar'. Of tenminste 'van waarde'. Want dat zeggen je 'collega's'. Anders zouden ze het niet publiceren.
Daaraan kleven tal van fundamentele bezwaren. En dat iemand jarenlang tal van artikelen gepubliceerd krijgt binnen dat systeem, terwijl het onderzoek nooit is verricht, en uitkomsten niet dupliceerbaar zijn, is eigenlijk de nekslag voor het hele systeem. Of zou dat moeten zijn. Beter om te leven met onzekerheid, dan met de opgedrongen politiek-correcte wanen van een elite die elkaar enthousiast de bal toespeelt.
Tal van gebieden die voorheen werden bestreken door filosofen, ontwikkelden zich in de vorige eeuw tot aparte vakgebieden. Nou is de filosofie traditioneel een gebied dat aan elkaar hangt van het vermogen van de filosoof om een stelling 'geloofwaardig' over te laten komen. Iets ondubbelzinnig bewijzen, zoals fysici, of mathematici, was er niet bij. Enerzijds door het probleem dat er grote beperkingen zijn bij het beschrijven van een 'systeem' door dat 'systeem' zelf: De mens die zichzelf analyseert en in wetmatigheden beschrijft. Anderzijds omdat de systemen die men onderzoekt dusdanig complex zijn, dat de beweging van de vleugel van een vlinder in Australië, een tropische storm in Florida tot gevolg kan hebben. (Butterfly-effect).
Die afgesplitste vakgebieden hebben het 'peer review' systeem omarmd, wat in de praktijk dan een 'consensus-doctrine' wordt: Krijg je het voor elkaar om te worden 'gepubliceerd'? Dan is je stelling dus 'waar'. Of tenminste 'van waarde'. Want dat zeggen je 'collega's'. Anders zouden ze het niet publiceren.
Daaraan kleven tal van fundamentele bezwaren. En dat iemand jarenlang tal van artikelen gepubliceerd krijgt binnen dat systeem, terwijl het onderzoek nooit is verricht, en uitkomsten niet dupliceerbaar zijn, is eigenlijk de nekslag voor het hele systeem. Of zou dat moeten zijn. Beter om te leven met onzekerheid, dan met de opgedrongen politiek-correcte wanen van een elite die elkaar enthousiast de bal toespeelt.
vrijdag 9 september 2011 om 11:58
Flowerbombje, fraude is ook in de exacte wetenschap een probleem. Maar in de exacte wetenschap geldt als norm de reproduceerbaarheid van objectief onderzoek. Juist de gevallen die jij noemt tonen aan dat men daarin eerder bijzonder streng is. Terwijl in de menswetenschappen 'bias' in onderzoeksresultaten bijna de norm is, vanuit mijn perspectief. En dat is vooral tragisch voor de integere wetenschappers in die vakgebieden, omdat hun onderzoek mede daardoor niet voor 'vol' wordt aangezien, aangezien het tegenstrijdig is aan hetgeen 'by consensus' als juist is aangenomen.
Een ander vakgebied dat hierdoor ernstig wordt geplaagd, is de neurologie, waar die overgaat in pogingen menselijk handelen te 'lokaliseren' in het brein. Een Amerikaanse onderzoeker die vond dat de consensus, dat bepaalde lichaamsfuncties 'gelokaliseerd' waren in bepaalde delen van het brein, onjuist was, werd systematisch tegengewerkt. Zijn bevindingen, dat het brein veel 'plastischer' was dan tot dan toe werd aangenomen, dreigde reputaties van autoriteiten op neurologisch gebied te verwoesten.
Een ander vakgebied dat hierdoor ernstig wordt geplaagd, is de neurologie, waar die overgaat in pogingen menselijk handelen te 'lokaliseren' in het brein. Een Amerikaanse onderzoeker die vond dat de consensus, dat bepaalde lichaamsfuncties 'gelokaliseerd' waren in bepaalde delen van het brein, onjuist was, werd systematisch tegengewerkt. Zijn bevindingen, dat het brein veel 'plastischer' was dan tot dan toe werd aangenomen, dreigde reputaties van autoriteiten op neurologisch gebied te verwoesten.
vrijdag 9 september 2011 om 13:57
Of het de wens van de branche is? Jazeker. Iedereen die ooit met hem heeft gewerkt wordt door de mangel gehaald en raakt ws zijn/haar publicaties kwijt. Naar mijn weten is dit overigens de eerste en enige keer dat dit in de sociale psychologe gebeurt.
En wat betreft het peer review: juist door elkaar kritisch te lezen en te vragen om meer data ga je dit soort zaken tegen. Ik denk dat er altijd individuen zullen zijn die de kluit belazeren en dat dit soort gevallen ertoe moeten leiden dat we nog kritischer op elkaar zullen moeten zijn. Daarom de peer review afschaffen lijkt me niet verstandig (en wordt ook niet als serieuze optie gezien).
En wat betreft het peer review: juist door elkaar kritisch te lezen en te vragen om meer data ga je dit soort zaken tegen. Ik denk dat er altijd individuen zullen zijn die de kluit belazeren en dat dit soort gevallen ertoe moeten leiden dat we nog kritischer op elkaar zullen moeten zijn. Daarom de peer review afschaffen lijkt me niet verstandig (en wordt ook niet als serieuze optie gezien).
vrijdag 9 september 2011 om 20:31
Eigenlijk wel interessant, dit onderwerp. Het raakt eigenlijk iedereen, en er is geen krant die er niet over bericht. NRC had vandaag een vervolg-artikel, waaruit blijkt dat data delen binnen de Psychologie (als vakgroep), amper gebeurt. En dat vakbroeders die gevraagd wordt een 'peer' te 'reviewen' zich echt zelden geroepen voelen een poging te wagen het onderzoek te dupliceren. Maar op een 'actueel' forum komt het niet uit de verf.........
Deels is dat misschien te verklaren door het idee bij forummers dat zij geen psychologen zijn, en er weinig van af weten. Anderzijds denk ik dat ook veel 'moderne' burgers stevig hebben geïnvesteerd in het denken in 'stoornissen' en wat 'normaal' is, en wat niet. In sommige gevallen zelfs hun kinderen 'medicatie' laten slikken op basis van bevindingen van dit soort clowns. Gebaseerd op 'onderzoek' waar nu vraagtekens achter staan, inplaats van uitroeptekens.
Deels is dat misschien te verklaren door het idee bij forummers dat zij geen psychologen zijn, en er weinig van af weten. Anderzijds denk ik dat ook veel 'moderne' burgers stevig hebben geïnvesteerd in het denken in 'stoornissen' en wat 'normaal' is, en wat niet. In sommige gevallen zelfs hun kinderen 'medicatie' laten slikken op basis van bevindingen van dit soort clowns. Gebaseerd op 'onderzoek' waar nu vraagtekens achter staan, inplaats van uitroeptekens.
vrijdag 9 september 2011 om 22:33
quote:Lorelai schreef op 09 september 2011 @ 22:13:
Volgens mij haal jij er nu van alles bij wat niet erg relevant is voor dit onderwerp. Stoornissen, medicatie - dat zijn helemaal geen zaken waar door Stapel en collega's onderzoek naar wordt gedaan.
Sociale psychologie is nauw verweven met de vraag wat 'normaal' is, en wat niet. Wat niet 'normaal' is, wordt vervolgens al snel opgepikt door de farmaceutische industrie, inspirator bij uitstek van alles wat terechtkomt in de DSM, die er een pilletje voor bedenkt. Opdat betrokkene toch maar vooral 'normaal' kan zijn.
Daarnaast inspireert dit vakgebied, bij uitstek, politici om te komen tot beleid. Beide invloeden zijn kwaadaardig, als die niet gestoeld zijn op integer onderzoek. Immoreel, en in veel gevallen, zo is mijn stellige overtuiging, volstrekt contraproductief.
Volgens mij haal jij er nu van alles bij wat niet erg relevant is voor dit onderwerp. Stoornissen, medicatie - dat zijn helemaal geen zaken waar door Stapel en collega's onderzoek naar wordt gedaan.
Sociale psychologie is nauw verweven met de vraag wat 'normaal' is, en wat niet. Wat niet 'normaal' is, wordt vervolgens al snel opgepikt door de farmaceutische industrie, inspirator bij uitstek van alles wat terechtkomt in de DSM, die er een pilletje voor bedenkt. Opdat betrokkene toch maar vooral 'normaal' kan zijn.
Daarnaast inspireert dit vakgebied, bij uitstek, politici om te komen tot beleid. Beide invloeden zijn kwaadaardig, als die niet gestoeld zijn op integer onderzoek. Immoreel, en in veel gevallen, zo is mijn stellige overtuiging, volstrekt contraproductief.
zaterdag 10 september 2011 om 01:25
Ben zelf sociaal wetenschapper (geen psycholoog). Maar dus wel bekend met het verzamelen van data en peer review. Hoe het bij anderen gaat weet ik natuurlijk niet. Maar bij mijn beide werkplekken was/is het gebruikelijk om
- samen over de opzet vh onderzoek en de instrumenten te spreken en de opzet en de instrumenten vast te stellen
- proefpersonen te benaderen, en die (afhankelijk van soort onderzoek) te ontvangen op het lab, of naar een ziekenhuis, school, bedrijf wat dan ook te gaan. Mensen ontvangen op het lab, daar weten altijd meer mensen van (de labbeheerder, collega's die de briefjes zien hangen om proefpersonen de weg te wijzen 'onderzoek vlees in lab 3'). Dataverzamelen op locatie is trickier natuurlijk. Maar, over het algemeen, kom je terug met of een stapel papieren, of videobanden, of je hebt een gevulde database met loggevens. En ja, je kan al die dingen ook zelf hebben ingevuld...terwijl je lekker koffie dronk bij bagels
- samen over de opzet vh onderzoek en de instrumenten te spreken en de opzet en de instrumenten vast te stellen
- proefpersonen te benaderen, en die (afhankelijk van soort onderzoek) te ontvangen op het lab, of naar een ziekenhuis, school, bedrijf wat dan ook te gaan. Mensen ontvangen op het lab, daar weten altijd meer mensen van (de labbeheerder, collega's die de briefjes zien hangen om proefpersonen de weg te wijzen 'onderzoek vlees in lab 3'). Dataverzamelen op locatie is trickier natuurlijk. Maar, over het algemeen, kom je terug met of een stapel papieren, of videobanden, of je hebt een gevulde database met loggevens. En ja, je kan al die dingen ook zelf hebben ingevuld...terwijl je lekker koffie dronk bij bagels
zaterdag 10 september 2011 om 01:38
(Vervolg) and beans. Je gaat er van uit dat dat niet gebeurt.
- ruwe data verwerken (men ziet je dus al die vragenlijsten inkloppen, of videobanden coderen of protocollen uittypen of weet ik het.) En soms bespreek je die ruwe data ook, om te komen tot een goed analyse schema. Dus collega's delen zeker wel data!
- analyseren en publiceren. Ook dit doe je niet alleen.
Ik herken me dus ook totaal niet in de woorden van Roos Vonk dat wetenschappers geen data delen en hoogleraren hun aio's nooit controleren....
Over peer-review
Denk je nu echt dat peer-review gaat om het repliceren van een onderzoek, en dat dat je taak is als reviewer?
Nee, dat iemand dezelfde getallen krijgt is geen voorwaarde voor publicatie.
Ik heb zelf ook moeite met peer-review en de druk op publiceren. Maar deze fraude is daar niet aan te wijten, en ook geen bewijs dat peer-review zuigt. Daarvoor zijn veel betere argumenten te verzinnen.
Wat ik me afvraag: had Stapel alleen een mooie tabel gemaakt, of ook echt ruwe data ingevuld (dus 30 keer een vragenlijst oid)? Want kijk, als je fraudeert zorg er dan voor dat je niet door de mand valt. Heb een stapel (haha) papier liggen die je aan iemand kan geven....
En: die co-auteurs (Roos Vonk oa) valt dus wel degelijk iets te verwijten. Als de data zo mooi zijn, zo mooi aansluiten bij je verwachting, dan zouden aanvullende analyses niet misstaan. Hoe kan het toch dat ze genoegen nam met een min of meer kant en klare tabel?
En: waarom in godsnaam eerst een persbericht de deur uit doen, voordat je een artikel geschreven hebt??
Op dit soort dagen schaam ik me voor mijn sociaal-wetenschappelijke collega's. (Maar als niet psycholoog maak ik er ook heerlijke flauwe grappen over....)
Trouwens, bij statistiek onderwijs wordt vaak gewerkt met gefingeerde data, om zo de gewenste effecten duidelijk naar voren te laten komen... Dus een goed voorbeeld geven we de studenten niet
- ruwe data verwerken (men ziet je dus al die vragenlijsten inkloppen, of videobanden coderen of protocollen uittypen of weet ik het.) En soms bespreek je die ruwe data ook, om te komen tot een goed analyse schema. Dus collega's delen zeker wel data!
- analyseren en publiceren. Ook dit doe je niet alleen.
Ik herken me dus ook totaal niet in de woorden van Roos Vonk dat wetenschappers geen data delen en hoogleraren hun aio's nooit controleren....
Over peer-review
Denk je nu echt dat peer-review gaat om het repliceren van een onderzoek, en dat dat je taak is als reviewer?
Nee, dat iemand dezelfde getallen krijgt is geen voorwaarde voor publicatie.
Ik heb zelf ook moeite met peer-review en de druk op publiceren. Maar deze fraude is daar niet aan te wijten, en ook geen bewijs dat peer-review zuigt. Daarvoor zijn veel betere argumenten te verzinnen.
Wat ik me afvraag: had Stapel alleen een mooie tabel gemaakt, of ook echt ruwe data ingevuld (dus 30 keer een vragenlijst oid)? Want kijk, als je fraudeert zorg er dan voor dat je niet door de mand valt. Heb een stapel (haha) papier liggen die je aan iemand kan geven....
En: die co-auteurs (Roos Vonk oa) valt dus wel degelijk iets te verwijten. Als de data zo mooi zijn, zo mooi aansluiten bij je verwachting, dan zouden aanvullende analyses niet misstaan. Hoe kan het toch dat ze genoegen nam met een min of meer kant en klare tabel?
En: waarom in godsnaam eerst een persbericht de deur uit doen, voordat je een artikel geschreven hebt??
Op dit soort dagen schaam ik me voor mijn sociaal-wetenschappelijke collega's. (Maar als niet psycholoog maak ik er ook heerlijke flauwe grappen over....)
Trouwens, bij statistiek onderwijs wordt vaak gewerkt met gefingeerde data, om zo de gewenste effecten duidelijk naar voren te laten komen... Dus een goed voorbeeld geven we de studenten niet
zaterdag 10 september 2011 om 07:11
Draaiorgel, Stapel viel door de mand, omdat een student trachtte het onderzoek van Stapel te repliceren. En niet de uitkomsten kreeg die Stapel zei te hebben gevonden. Waarna die student naar het universiteitsbestuur stapte.
In NRC van gisteren (vrijdag 9 september) een uitvoerig artikel over deze kwestie onder de kop 'Niemand controleert de psycholoog'. Subkop: 'Hun gegevens delen onderzoekers niet en voor controles is weinig tijd'. Ik ga dat artikel hier niet overnemen om duidelijk te maken waar 'm de schoen wringt. Maar het artikel is goed onderbouwd. En het geeft ook aan dat de discipline bij sociologie (bijvoorbeeld) veel groter is, en er al van oudsher structuren zijn voor het delen van data. Terwijl dat binnen de psychologie niet het geval is, in dezelfde mate.
In NRC van gisteren (vrijdag 9 september) een uitvoerig artikel over deze kwestie onder de kop 'Niemand controleert de psycholoog'. Subkop: 'Hun gegevens delen onderzoekers niet en voor controles is weinig tijd'. Ik ga dat artikel hier niet overnemen om duidelijk te maken waar 'm de schoen wringt. Maar het artikel is goed onderbouwd. En het geeft ook aan dat de discipline bij sociologie (bijvoorbeeld) veel groter is, en er al van oudsher structuren zijn voor het delen van data. Terwijl dat binnen de psychologie niet het geval is, in dezelfde mate.
zaterdag 10 september 2011 om 08:07
Jaap, dat klopt niet, er was geen student die zijn onderzoek probeerde te repliceren. Er waren AIO's die inconsistenties in de data opmerkten.
Maar goed, ik begrijp geloof ik niet waar je heen wilt met deze discussie, Volgens mij zijn we het er allemaal over eens dat dit verschrikkelijk is en dat moeten zinnen op manieren om nog kritischer op elkaar te zijn.
Maar goed, ik begrijp geloof ik niet waar je heen wilt met deze discussie, Volgens mij zijn we het er allemaal over eens dat dit verschrikkelijk is en dat moeten zinnen op manieren om nog kritischer op elkaar te zijn.
zaterdag 10 september 2011 om 08:08
quote:jaap schreef op 09 september 2011 @ 20:31:
dupliceren. Maar op een 'actueel' forum komt het niet uit de verf.........
Deels is dat misschien te verklaren door het idee bij forummers dat zij geen psychologen zijn, en er weinig van af weten. .Zo, dat is nogal een aanname. Wellicht komt het ook doordat men ziet dat je reacties in dit topic op anderen bestaan uit een hoop 'moeilijke' woorden, wat mensen afschrikt, en daarnaast leg je de hele tijd uit hoe een ander toch geen gelijk heeft en hoe het eigenlijk zit...(naar jouw mening, maar het wordt als een feit gepresenteerd) . Het is niet echt het meest uitnodigende topic om in te reageren eerlijk gezegd.
dupliceren. Maar op een 'actueel' forum komt het niet uit de verf.........
Deels is dat misschien te verklaren door het idee bij forummers dat zij geen psychologen zijn, en er weinig van af weten. .Zo, dat is nogal een aanname. Wellicht komt het ook doordat men ziet dat je reacties in dit topic op anderen bestaan uit een hoop 'moeilijke' woorden, wat mensen afschrikt, en daarnaast leg je de hele tijd uit hoe een ander toch geen gelijk heeft en hoe het eigenlijk zit...(naar jouw mening, maar het wordt als een feit gepresenteerd) . Het is niet echt het meest uitnodigende topic om in te reageren eerlijk gezegd.
zaterdag 10 september 2011 om 09:46
Ik heb ook begrepen dat er sprake was van een aio of collega die twijfels had. En repliceren was dacht ik niet aan de orde, maar zo erg heb ik me er niet in verdiept. Maar het hoe en waarom van de ontdekking maakt niet zo veel uit eigenlijk. Kijk wij hebben het ook wel eens aan de hand gehad met een buitenlandse AIO. Die verzamelen data in hun home-country. En nee, wij reizen niet mee. Als ze terugkomen hebben ze keurige, bijna perfecte data met enorme effectsizes. Soms zo goed, dat we twijfelen. Wat we toen een keer gedaan hebben, is andere hypothese, andere analyse er op uit proberen. Volgens de literatuur zou daar ook een bepaald verband in moeten zitten. Als de data gefingeerd zou zijn, dan zou het wel heel knap gefingeerd moeten zijn. Nou, gelukkig bleek het verband er te zijn. Dus veilige data 
Immers AIO wist van tevoren niet dat we dat zouden toetsen, dus kon dat ook niet manipuleren.
Dat jij de NRC gelooft omdat het daar goed onderbouwd staat.... Tja. Ik geloof wat ik op mijn eigen faculteit zie en wat ik zelf doe.
Wat hier trouwens ook nog speelt is de fout van het uitbrengen van het persbericht. Zonder artikel. En het trekken van conclusies die niet getrokken mogen worden met deze (al dan niet valse) data. De onderzoeksopzet rammelde al.
Overigens: hoogleraren verzamelen bijna nooit zelf data. Dat doet een assistent, of een student. Dan valt het natuurlijk binnen zo'n afdeling wel op, dat er opeens data zijn, maar niemand een assistent gezien heeft.
Immers AIO wist van tevoren niet dat we dat zouden toetsen, dus kon dat ook niet manipuleren.Dat jij de NRC gelooft omdat het daar goed onderbouwd staat.... Tja. Ik geloof wat ik op mijn eigen faculteit zie en wat ik zelf doe.
Wat hier trouwens ook nog speelt is de fout van het uitbrengen van het persbericht. Zonder artikel. En het trekken van conclusies die niet getrokken mogen worden met deze (al dan niet valse) data. De onderzoeksopzet rammelde al.
Overigens: hoogleraren verzamelen bijna nooit zelf data. Dat doet een assistent, of een student. Dan valt het natuurlijk binnen zo'n afdeling wel op, dat er opeens data zijn, maar niemand een assistent gezien heeft.
zaterdag 10 september 2011 om 10:10
quote:ondernemer schreef op 09 september 2011 @ 09:59:
[..]
denk ik dat psychologie als vakgebied bij uitstek blootstaat aan narratieve misleiding.[...]
deze 'narrative fallacy' zit ingebakken in de manier waarop onze hersenen werken.
Bij een vak als psychologie of economie komt deze 'narrative fallacy' vrij snel om de hoek kijken.
Een natuurkundige of wiskundige werkt in een wereld waar dingen meetbaar en onveranderbaar zijn: zwaartekracht, snelheid van licht etc etc zijn nauwkeurig te bepalen en als je ze eenmaal weet universeel toepasbaar.
Economie en menselijk gedrag zijn heel wat diffuser. Wat gebeurt er met de inflatie of de economische groei als de ECB de rente verhoogd? Wat zijn precies de motieven van een vleeseter? Dit soort dingen zijn nogal ongrijpbaar en daarom gevoelig voor mooie verhalen die weinig hout snijden. Het is jammer dat zelfs een hoogleraar in deze valkuil trapt.Daar kan ik me wel in vinden. (Het bestaan van narrative fallacy en dat mensen die onderzoek doen of anderszins analyses maken zich laten verleiden om ad hoc verklaringen te verzinnen.)
Maar het valt me op dat jij kijkt naar de hoogleraar die zich zogezegd laat meeslepen door zijn vermoeden verbanden te hebben blootgelegd. En volgens mij heeft Diederik Stapel bewust fraude gepleegd, door feiten te verzinnen om een door hem verzonnen theorie te staven. Dat is fraude en bewuste misleiding.
[..]
denk ik dat psychologie als vakgebied bij uitstek blootstaat aan narratieve misleiding.[...]
deze 'narrative fallacy' zit ingebakken in de manier waarop onze hersenen werken.
Bij een vak als psychologie of economie komt deze 'narrative fallacy' vrij snel om de hoek kijken.
Een natuurkundige of wiskundige werkt in een wereld waar dingen meetbaar en onveranderbaar zijn: zwaartekracht, snelheid van licht etc etc zijn nauwkeurig te bepalen en als je ze eenmaal weet universeel toepasbaar.
Economie en menselijk gedrag zijn heel wat diffuser. Wat gebeurt er met de inflatie of de economische groei als de ECB de rente verhoogd? Wat zijn precies de motieven van een vleeseter? Dit soort dingen zijn nogal ongrijpbaar en daarom gevoelig voor mooie verhalen die weinig hout snijden. Het is jammer dat zelfs een hoogleraar in deze valkuil trapt.Daar kan ik me wel in vinden. (Het bestaan van narrative fallacy en dat mensen die onderzoek doen of anderszins analyses maken zich laten verleiden om ad hoc verklaringen te verzinnen.)
Maar het valt me op dat jij kijkt naar de hoogleraar die zich zogezegd laat meeslepen door zijn vermoeden verbanden te hebben blootgelegd. En volgens mij heeft Diederik Stapel bewust fraude gepleegd, door feiten te verzinnen om een door hem verzonnen theorie te staven. Dat is fraude en bewuste misleiding.
zaterdag 10 september 2011 om 10:22
quote:Lorelai schreef op 10 september 2011 @ 08:07:
Jaap, dat klopt niet, er was geen student die zijn onderzoek probeerde te repliceren. Er waren AIO's die inconsistenties in de data opmerkten.
Maar goed, ik begrijp geloof ik niet waar je heen wilt met deze discussie, Volgens mij zijn we het er allemaal over eens dat dit verschrikkelijk is en dat moeten zinnen op manieren om nog kritischer op elkaar te zijn.
Dat is dan een andere lezing dan ik in de media tegenkwam.
Waar ik heen wil met dit topic, is het ter sprake brengen van de kwestie in een breder verband. Ik gaf al aan, dat er vele voorbeelden te geven zijn van problemen, veroorzaakt door fraude, of bias in bestaand materiaal. Waardoor verkeerde conclusies worden getrokken. Niet slechts door de onderzoeker zelf, maar ook door onderzoekers en beleidsmakers die vervolgens, middels meta-analyses proberen te achterhalen wat er bekend is over een bepaald onderwerp. Het is al praktisch onmogelijk om het effect dat het frauduleuze onderzoek van Stapel daarop heeft uit dat soort toekomstig onderzoek te filteren. Want het is net een kaartenhuis. Ook al wordt zijn naam niet meer als referentie gebruikt voor een bepaalde conclusie, dan nog kan die ergens wel bepalend zijn.
Daarbij is er werkelijk alle reden om aan te nemen, dat Stapel op geen stukken na de enige is die gefraudeerd heeft, of willens en wetens 'bias' heeft toegelaten in onderzoek. Er zijn mij domweg teveel verhalen bekend van 'politiek correcte' redactie.
Jaap, dat klopt niet, er was geen student die zijn onderzoek probeerde te repliceren. Er waren AIO's die inconsistenties in de data opmerkten.
Maar goed, ik begrijp geloof ik niet waar je heen wilt met deze discussie, Volgens mij zijn we het er allemaal over eens dat dit verschrikkelijk is en dat moeten zinnen op manieren om nog kritischer op elkaar te zijn.
Dat is dan een andere lezing dan ik in de media tegenkwam.
Waar ik heen wil met dit topic, is het ter sprake brengen van de kwestie in een breder verband. Ik gaf al aan, dat er vele voorbeelden te geven zijn van problemen, veroorzaakt door fraude, of bias in bestaand materiaal. Waardoor verkeerde conclusies worden getrokken. Niet slechts door de onderzoeker zelf, maar ook door onderzoekers en beleidsmakers die vervolgens, middels meta-analyses proberen te achterhalen wat er bekend is over een bepaald onderwerp. Het is al praktisch onmogelijk om het effect dat het frauduleuze onderzoek van Stapel daarop heeft uit dat soort toekomstig onderzoek te filteren. Want het is net een kaartenhuis. Ook al wordt zijn naam niet meer als referentie gebruikt voor een bepaalde conclusie, dan nog kan die ergens wel bepalend zijn.
Daarbij is er werkelijk alle reden om aan te nemen, dat Stapel op geen stukken na de enige is die gefraudeerd heeft, of willens en wetens 'bias' heeft toegelaten in onderzoek. Er zijn mij domweg teveel verhalen bekend van 'politiek correcte' redactie.
