Het rommelt  in de sociale wetenschappen. De dolgedraaide statistiek, de kloof tussen theorie en praktijk, de fraudes. Met hand en tand blijven de gevestigde machten zich verzetten. Replicatieonderzoek en betere statistische methoden moeten schoon schip maken.

Echter: de replicaties bewijzen op grote schaal dat uitkomsten niet deugen. Ondertussen  gaat men door met de productie van losse weetjes zonder samenhang. Niet zo vreemd dat deze ‘borreltafelwetenschap’ steeds kritischer bejegend wordt!

Het kon niet uitblijven; men pikt het niet meer. Zie de Volkskrant. “Heibel in de sociale wetenschappen: gevestigde geleerden zouden worden ‘geterroriseerd’ door jonge onderzoekers op zoek naar fouten in hun werk. Smerig spel, of een hoognodige schoonmaakbeurt?” Maarten Keulemans,  Volkskrant, 8 okt. 2016.

Enkele citaten

‘Tot hier en niet verder’ betoogt de eminente psychologiehoogleraar Susan Fiske, “De nieuwe media (blogs, Twitter, Facebook) moedigen onbeheerde, ongefilterde vuilbekkerij aan. In de extreemste voorbeelden vallen online-burgerwachten personen, hun onderzoeksprogramma’s en carrières aan”, aldus Fiske.

Lees ook:

Universiteiten in rep en roer.

Fiskes tirade komt niet uit het niets. De laatste jaren is het voortdurend hommeles in haar vak. Oude experimenten leveren bij replicatie in tweederde tot driekwart van de gevallen andere resultaten op.

En alsof het niet genoeg is, is er een nieuwe generatie onderzoekers opgestaan die blogt en facebookt dat het een aard heeft. En dat allemaal zonder peer-review, de spelregel dat onderzoek niet naar buiten mag zonder goedkeuringsstempel van een panel van geleerde collega’s, aldus Fiske. ‘Deze verniel-critici negeren de ethische gedragsregels en ontduiken elke beoordeling door vakgenoten‘, foetert de professor, die de jonge garde onder meer het ‘verwoesten van levens’ aanwrijft.

Wellicht was het daarbij gebleven, ware het niet dat de invloedrijke bloggende hoogleraar statistiek en politicologie Andrew Gelman reageerde, onder de vileine titel ‘Wat er is veranderd, is dat er een nieuwe wind waait’. In een opgestoken middelvinger van 5.170 woorden lang wrijft Gelman de psychologe aan een ‘dood paradigma’ aan te hangen, van statistisch rammelende onderzoekjes en theorieën die zo slap staan afgesteld dat je er álles wel mee kunt verklaren. Borreltafelwetenschap!

‘En nu hebben we de keizer-heeft-geen-kleren-fase bereikt’, aldus Gelman. ‘We beseffen allemaal dat slecht werk eerder regel is dan uitzondering’.

‘De grote theorieën zijn gaandeweg verdwenen. En om eerlijk te zijn heeft men zich lang beholpen met ad-hoc-theorieën’, zegt de Leidse hoogleraar psychologie Bernhard Hommel. ‘Je doet een waarneming, en dat is dan het fenomeen.’

Nog eens extra op scherp gezet worden de tegenstellingen door de generatiekloof, met enerzijds de oude garde die gewend is aan zorgvuldig geformuleerde epistels in een vakblad, en anderzijds de online-generatie die volop experimenteert met blogs, gratis tijdschriften en peer-review achteraf. ‘Op internet kunnen mensen de dingen best onaardig brengen’, ziet promovenda methodologie Michèle Nuijten van de Universiteit van Tilburg ook wel in. ‘Maar het voordeel is dat de verbeteringen in de wetenschap er veel sneller gaan. En je hoeft niet per se hoogleraar te zijn om een bijdrage te kunnen leveren.’

Intussen begint de ruzie ook steeds meer door te klinken in andere sociale wetenschappen, blijkt onder meer uit de honderden reacties van economen, politicologen en sociologen onderaan Gelmans weblog. ‘Want hele theorieën bouwen op basis van een handvol vragen uit een enquête of wat losse grafiekjes in Excel – bezondigen niet veel meer wetenschappers zich daaraan?’

“Feit is”, schrijft de Britse neuro-wetenschapper Chris Chambers in een reactie op Fiske, “dat we midden in een machtsstrijd zitten. Niet tussen Fiskes ‘verniel-critici’ en hun slachtoffers, maar tussen de hervormers die wanhopig proberen de wetenschap te verbeteren en een groepje traditionalisten dat nu en dan vanaf hun troon omlaag kijkt en wat obstakels op je weg leggen.”

Tot zover de citaten uit de Volkskrant.

De tekst van Andrew Gelman ‘What has happened down here is the winds have changed’  met de honderden reacties is hier te vinden.

 In NL dezelfde geluiden

Deze kritiek staat niet op zichzelf. In NL maakte de affaire Stapel soortgelijke commentaren los. De affaire StapelEffecten van DE wetenschappelijke methode. De toen voorgestelde remedie van replicatie en meer statistiek heeft niet gewerkt. Geen wonder; het oppoetsen van een ‘dood paradigma’ met meer van hetzelfde, maakt het alleen maar erger.

“Repliceren wordt een soort ‘Hang yourself methode’ voor de sociale psychologie.”  ManagementSite, 13 dec. 2012.

De kritiek beperkt zich ook in NL niet tot de psychologie. Zo publiceerden Nederlandse economen hun onvrede onder titels als Stop de bonentellers aan de UvA  en Het falen van de economie – Wetenschap op dood spoor

Op het gebied van de management wetenschappen stelt Arnold Godfroij in zijn afscheidscollege dat de zogenaamde wetenschappelijke methode onze kennis over beter organiseren en managen ongeschikt voor toepassing maakt. De kloof tussen theorie en praktijk wordt er alleen maar groter door. Hij pleit voor een herstel van de interactie tussen wetenschappers en praktijkmensen en voorspelt dat onderzoeksgroepen die op de oude voet doorgaan hun toekomst in gevaar brengen door gebrek aan toegevoegde waarde voor de samenleving.

Hoe verder

Al jaren lang rommelt het. In Managementsite worden deze discussies op de voet gevolgd omdat ze direct te maken hebben met onze kennis over beter managen en organiseren. Zie bijvoorbeeld de gerelateerde items hieronder en de links in deze column. Ze geven een idee van de richting die we uit moeten.
Wat dat betekent voor ManagementSite heb ik beschreven in Werken managementmodellen?Wat werkt écht en hoe weet je dat?  Zie ook in onze kennisbank het onderwerp Managementmodellen.

Willem Mastenbroek
Hoofdredacteur ManagementSite

Kennisbank onderwerpen:

Kennisbank onderwerpen:

 

Reageer

Na het plaatsen kunt u uw reactie nog 30 minuten aanpassen.

Reacties

Goed stuk Willem. Al voor 2010 stelde jongebazen.nl de psychologische zienswijzen en onderzoeksresultaten ter discussie. In een poging het brein meer te betrekken bij leer- en veranderprocessen werd deze poging echter weggehoond. Ik klopte op deuren die gesloten bleven. Dat betekent dat er een zeer koppig en bewakend establishment zit. In de recensie van de boeken van Swaab zien we dat ook weer.

Over de kloof tussen theorie en praktijk:
Als kankerpatiënte ben ik betrokken bij wetenschappers die onderzoek doen naar deze ziekte. Om geld te krijgen van KWF, ZoNw en andere instanties zijn zijtegenwoordig verplicht ” ervaringsdeskundigen” erbij te betrekken. Dat zijn patiëntenvertegenwoordigers die een training hebben gevolgd in het beoordelen van wetenschappelijk onderzoek. Vaak zelf ook academisch opgeleid. Wij bekijken de onderzoeken met onze ” kanker-ervarings-ogen” en houden daarbij rekening met:
* hebben wij als patiënten hier iets aan, of moet er iemand zo nodig op zijn stokpaardje promoveren of onderzoek doen
* is het resultaat implementeerbaar en uitrolbaar
* is het onderzoektechnisch goed opgezet.

Vaak wordt er veel geld besteed aan onderzoek wat door ervaringsgerichtheid allang bekend is. Het zogenaamde ” water-is-nat- onderzoek”. Ik kan me een onderwijssociologisch onderzoek herinneren naar het leren lezen van kinderen in groep 3 ( ik ben onderwijssocioloog). Het resultaat haalde dikke chocoladeletters in de Telegraaf. 10% van de kinderen leert niet lezen in groep 3. Geen leerkracht die hiervan schrok, die kennis was al jaren algemeen bekend. Had vooral te maken met de “leeftijdsnorm” die toen nog zeer streng werd gehanteerd. De zogenaamde septemberkindertjes hadden daar veel last van. Een dyslectie werd ook niet meegenomen.

Heerlijk verhaal Willem. Dank voor het delen. De vele links in de diverse stukken nodigt uit tot diepgravende verkenning. Ik ben op de wetenschappelijke ontsporing die je hier schetst een kleine 20 jaar geleden gewezen door het boek van Sokal en Bricmont: Intellectueel bedrog.

Aan het einde verlies je mij. Modellen werken niet, dat doen mensen en machines. We kunnen achteraf proberen het geobserveerde functioneren in een model te stoppen, met oog voor context. Hoe vaak dit echt en wetenschappelijk verantwoord gebeurt? Tja. De voorliefde van modellen verzinnen en proberen mensen zich ernaar te laten gedragen geniet nog steeds de voorkeur.

Wat duidelijk opgeschreven Willem! En boeiende reacties ook gerelateerd aan ons onderwijs systeem en de belangrijke medische onderzoeken naar de menselijke gezondheid. Ik zie deze sociale ‘academische fata morgana’ ook als een erfenis van ons “machinedenken”: dat we geloven het gedrag van mensen te kunnen uitwerken in stroomdiagrammen en flowcharts. Dat gedrag voorspelbaar is. En dat als je dit weet alles goedkomt. We weten natuurlijk dat dit helemaal niet zo is, maar iedereen doet er aan mee.

Het valt mij op hoe veel universiteiten en onderzoek-instituties die zich richten op vakgebieden als bedrijfskunde, leren en veranderen ook totaal verslaafd zijn aan statistische analyses en kwantitatieve data. Er is een duidelijke hiërarchie te zien: vragenlijsten zijn beter dan interviews. Daar begint het al. Er zijn gelukkig uitzonderingen en de trend om participatief onderzoek te doen MET organisaties en lokaal betekenis te geven aan inzichten en vragen zijn beloftevol! Maar als onderzoekers primair steeds maar worden afgerekend op ‘peer reviewed’ data en ‘impact factors’ van tijdschriften dan is dit patroon zeer hardnekkig te doorbreken.

Dat we dit doen maakt ook dat we onze initiatieven en pogingen te veranderen in organisaties structureel overschatten. We denken al gauw dat als we mensen bij elkaar zetten en duidelijke doelen en kaders formuleren er van alles anders zal gaan de volgende dag. We geven al deze modellen, concepten en theorieën daarmee ook heel veel macht en betekenis. En gaan ermee aan de haal. Ik denk bijvoorbeeld aan het sprookje van Sinek (het WHY model, https://www.managementsite.nl/golden-circle-sprookje-van-simon-sinek)

Deze ‘over aandacht’ op causale verbanden (soms ook juist door de media aangezwengeld overigens) kost ook de sociale wetenschap wat, dat blijkt duidelijk nu. Fraude, falsificatie, reputatie, onderzoekers die het anders gaan doen en hun “eigen universiteit beginnen”. Ik vind dat persoonlijk heel leuk om te zien! Als we dit werk en de resultaten ook waarderen op hun essentie (lokale kennis) en niet uitrollen over de mensheid (universele kennis). Onderzoek is meer dan een formule of een algoritme uitwerken en toepassen. Met veranderen is dat net zo.

Zoals Joris Luyendijk schrijft in zijn NRC artikel van 6 oktober (https://www.nrc.nl/nieuws/2016/10/06/schaf-die-nobelprijs-voor-economie-maar-af-4665008-a1525174): dit gaat ten koste van onze ethiek en vernauwt onze blik en ruimte om kritisch na te blijven denken.

Organisatiepsychologie is geen natuurkunde: de wet van Ohm geldt hier, in Amerika, op de Noordpool, nu in 2016, maar ook in 2002 en 2067. Leiderschapsmodellen met 4 hokken (taak- sociaalgericht gedrag, Reddin, Blake & Mouton, Hersey & Blanchard) zijn gebaseerd op onderzoeken in het Amerikaanse leger d.d. +/- 1945. Dat model geldt hoogstwaarschijnlijk niet voor de Nederlandse cultuur anno 2016, omdat dat onze cultuur vrijwel zeker niet de cultuur van het Amerikaanse leger vlak na de oorlog is. En dat geldt voor een hele zooi andere modellen op mijn vakgebied.

Beste Ed

Inderdaad, het gedrag van mensen is van andere aard dan dat van atomen en moleculen. Menselijk gedrag is best goed te onderzoeken. Maar dat gaat anders dan in de natuurwetenschappen. We weten hoe we dat moeten doen maar het gevaar dreigt dat deze benadering aan de universiteiten steeds meer afgekneld wordt. Immers de zogenaamde A-tijdschriften vinden het niks.
Het gevolg is de productie van borreltafel-kennis. De vraag of dit toch nog iets voorstelt is niet relevant omdat die kennis bij replicatie systematisch onderuit gaat en tot geleerd geleuter wordt verklaard.

Hoe lang gaat deze onzin nog door?

Het tragische is dat enthousiaste en talentvolle studenten door de dwang van de zogenaamde wetenschappelijke methode hun energie en vindingrijkheid geblokkeerd zien en teleurgesteld afhaken. Het tragische is ook dat heel wat wetenschappers de beperkingen van deze methode heel goed inzien maar onder de dwang van de wetenschappelijke elite bakzeil moeten halen.

Blijkens de hierboven in deze column aangehaalde discussie, beginnen er nu een paar scheuren in dit bastion te komen. Hoe snel dit doorzet weten we niet maar dat vroeg of laat dit fort in elkaar stort is zeker.

Willem Mastenbroek

Beste Willem,
Ik lees niet meer elke week Managementsite.nl, 6 jaar na mijn afscheidscollege. Vandaar een misschien wat late reactie. Toen ik dat verhaal hield, dacht ik: ik schrijf toch maar op wat ik denk, nu het nog kan, maar ik denk niet dat het veel zal uithalen.
Nu ik jouw column zag, en daarin ook een verwijzing naar mijn afscheidscollege, was ik wel blij te zien dat het debat niet helemaal verstomd is.
Ik heb mijn eigen verhaal nog eens doorgekeken en kon concluderen dat ik er nog helemaal achter sta, hoewel ik voorzichtig moet zijn bij het uitspreken van oordelen over mijn oude vakgebied.
Op het eerste gezicht gaat het verhaal hoofdzakelijk over de kloof tussen wetenschap en praktijk. Dat wordt vaak als eerste geassocieerd met (gebrek aan) toepasbaarheid. Maar daar gaat het mij niet op de eerste plaats om. Het gaat vooral om begrip. Begrijpen wat er gebeurt. Daar heb je theorieën voor nodig die over kernvraagstukken gaan. Zulke theorieën hebben het afgelegd tegen wat tegenwoordig voor theorieën doorgaat: beperkte setjes van hypothesen over veelal cryptische constructen. Dan wordt er ook nog eens zelden naar feiten en gebeurtenissen gekeken, alleen naar meningen c.q. scores van respondenten. Omdat binnen het dominante paradigma zoveel buiten beeld valt (zie o.a. figuur 2 op pag. 15) – en wel vooral de dingen die voor het functioneren van organisaties en andere sociale verbanden van belang zijn – komt er maar heel weinig begrip tot stand. Significante uitkomsten die inhoudelijk totaal insignificant zijn. Zoals ik in de conclusies zeg: ‘Het hoofdprobleem zit in de dominantie van een denkmodel en methodologie die niet voldoende aansluit bij de aard van de sociale werkelijkheid, in casu organisaties.’ Het is dus inderdaad een paradigma-probleem.
Misschien was mijn verhaal niet meer dan een druppel op een gloeiende plaat, maar jij ziet toch zoveel andere bewegingen en kritische geluiden dat je het fort nog wel in elkaar ziet storten. Helemaal instorten hoeft van mij niet, maar ik hoop nog wel iets mee te maken van een grondige koerswijziging.
Hartelijke groeten,
Arnold Godfroij

Toon alle 7 reacties
x
x