Channels

Gesjoemel met cijfers. Vervalste uitkomsten. Zijn het wetenschappers die niet deugen of is de deugdelijkheid van DE wetenschappelijke methode in het geding.

Naar aanleiding van de affaire Stapel schrijft Ben Emans over een interessant bij-effect van de door betrokken wetenschappers gevolgde methode: Onderzoekers en auteurs publiceerden over mensen die ze nooit gezien hadden en waarvan ze niet eens in de gaten hadden dat die mensen niet bestonden. Te gek voor woorden!

En er zijn meer ‘bij-effecten’.

Nut en toepasbaarheid

De relevantie voor de praktijk is bedroevend laag. Dit is nauwelijks meer een bij-effect te noemen omdat het zo vaak voorkomt. Ik kom veel psychologen tegen in de praktijk van advieswerk, training en opleiding. Ik heb nooit iets gemerkt van enige interesse in de A-tijdschriften waarin de top van psychologische wetenschappers publiceert. Is dit beperkt tot de psychologie? Welnee, dit verschijnsel strekt zich uit tot het hele veld van menswetenschappen inclusief de management-wetenschappen. Godfroij signaleert in zijn afscheidscollege De kloof tussen theorie en praktijk dat de toegevoegde waarde van de management-wetenschappen voor de praktijk gering is. Godfroij wijt dit aan de door de natuurwetenschappen geïnspireerde methode van wetenschapsbeoefening; een mathematische benadering met een stevig gebruik van statistiek om relaties tussen meetbare variabelen op te sporen. Dezelfde methode die psychologen en andere mens-wetenschappers moeten volgen om hun werk in de toptijdschriften gepubliceerd te krijgen.

Tellen is niet alles

Als er iets geteld kan worden, dan moeten we dat zeker doen maar het is een ernstige misvorming van het wetenschappelijke bedrijf om de mathematische methode als DE methode te blijven cultiveren. De zogenaamde toptijdschriften die deze methode huldigen, zijn bij praktijkmensen onbekend. Terecht; ze zouden er niets aan hebben. Het idee dat vroeg of laat ons een rijke oogst aan toepassingen toevalt is een fantasie gebleken.

Lees ook:

Stapel en de sociale psychologie

Deze situatie is al lang bij insiders bekend. Maar tja, de macht om wetenschappelijke carrieres te maken en te breken is veelal in handen van mensen die zelf hun sporen hebben verdiend met DE methode.

Knoeien met cijfers gemakkelijk en verleidelijk

Dit brengt mij op een derde effect inhaerent aan de methode: Knoeien met cijfers en statistische uitkomsten is gemakkelijk. Het is bovendien verleidelijk omdat onderzoekers met interessante uitkomsten willen komen. Want de kans dat je aandacht krijgt en dat jouw artikel geplaatst wordt neemt toe.

Het is extra verleidelijk omdat de morele en ethische barrieres om dit niet te doen onder druk staan. Immers de scepsis over de mathematische methode is ook onder wetenschappers groot. Herhaaldelijk raakte ik op bijeenkomsten van de Academy of Management in de VS in gesprek met wetenschappers die vertelden hoezeer ze in het keurslijf van de statistiek worden gemangeld en hoe de praktische waarde van hun bezigheden daaronder te lijden heeft. Maar ja … om een aanstelling te krijgen of te houden aan de universiteit en om in een A-tijdschrift je resultaten gepubliceerd te krijgen moeten ze wel. Welnu, als je het idee hebt dat je gedwongen wordt met een ‘pruts-methode’ te werken dan is het niet zo’n grote stap om met zo’n pruts-methode verder te prutsen. En zo begint dan het gesjoemel.

Gepruts en gesjoemel

Zijn er indicaties dat dit op grote schaal gebeurt? Een paar citaten uit een recent artikel van Karel Berkhout in NRC. 11-11-11. De kop PSYCHOLOOG WIL GEEN POTTENKIJKERS doet meteen al het ergste vrezen.

“De meeste psychologen laten hun werk niet controleren”, zegt psycholoog Jelte Wicherts. “Ze stellen hun onderzoeksgegevens niet ter beschikking van collega’s. “Die onwillige psychologen zijn bang dat heranalyse van de data de conclusies van hun onderzoek onderuit haalt.” Om dit vermoeden te toetsen heeft Wicherts de (1.148) onderzoeksresultaten in 49 wetenschappelijke artikelen van onwillige auteurs in twee toonaangevende psychologietijdschriften aan een heranalyse onderworpen. In de heranalyse gebeurde dat in 7 van de 49 artikelen. “De gevonden fouten zijn de top van de ijsberg van mogelijke fouten en vooringenomenheid in de statistische analyses en de rapportage van statistische resultaten”, schrijven de onderzoekers.

De situatie in de VS wordt als volgt samengevat: TWEEDERDE VAN DE PSYCHOLOGEN SCHRAPTE ONWELKOME RESULTATEN’ “Drie wetenschappers, onder wie Leslie K. John van Harvard Business School, hebben ongeveer 2.000 universitaire psychologen ondervraagd. Een groot aantal gaf toe zich wel eens schuldig te maken aan ‘betwistbare onderzoekspraktijken’. Dat varieert van relatief lichte vergrijpen zoals het weglaten van onwelkome meetresultaten (66 procent van de ondervraagden) tot het vervalsen van onderzoeksgegevens à la Stapel (1,7 procent).

Enfin, de regels voor wetenschappelijk onderzoek worden nu verder aangescherpt evenals de controles. Meer van hetzelfde dus.

Vrijheid van wetenschapsbeoefening

Volgens mij is het veel beter om kritisch te kijken naar DE methode. Niet alleen vanwege de triviale uitkomsten maar ook omdat de vrijheid van wetenschaps-beoefening in het geding is. Een vierde ongewenst effect dus. Hou je je niet aan de methode dan kom je niet in de A-tijdschriften en wordt je wegbezuinigd! Wordt het zo hard gespeeld? Wis en waarachtig! Ook in NL? Zeker, zie Stop de bonentellers aan de UvA.

Het wordt tijd om andere methoden in ere te herstellen. Bijvoorbeeld meer kwalitatieve methoden, op basis van casemateriaal en historische ervaringen. Ervaringen en cases laten patronen zien. Van patronen kun je veel leren. In de bedrijfswetenschappen liggen de ervaringen en cases voor het opscheppen. Ik denk aan vraagstukken als de besturing van organisaties, organisatieontwerp, projectmanagement, leidinggeven, verandermanagement, communicatieverbetering.

Patronen laten zien wat kennelijk werkt en wat niet. Als deze ‘lessons learned’ herkend worden en overeind blijven in het praktische gebruik en in de onderlinge uitwisselingen tussen professionals, dan beginnen we steeds betere inzichten en handvatten in handen te krijgen. Hierin kunnen wetenschappers een veel grotere rol spelen. Dat betekent dat een academische onderzoeker veel meer aandacht besteedt aan de dialoog met  gebruikers. Niet alleen om ze te informeren maar om de vondsten te valideren en de opgedane kennis verder te ontwikkelen. De controleerbaarheid van de vondsten moet zich uitstrekken tot en met gebruikers en geïnteresseerde professionals.

Sociaal leerproces

Zelfs de beste ervaringen en inzichten verpieteren in sociaal isolement. Waar men niet over leest of praat, wordt ook niet toegepast! Kennis over beter managen en organiseren komt pas tot wasdom in een sociaal en collectief leerproces.

De nieuwe media spelen hierbij een belangrijke rol. Ervaringen uitwisselen, op een tot voor kort ongekende schaalgrootte, is een belangrijke impuls voor de verspreiding en verdere ontwikkeling van onze kennis. Is bovendien de toets of deze kennis herkend wordt door ‘communities of practitioners’ en of het werkt in de praktijk nou net niet de toets waarom het gaat?

Mijn wens is dat wetenschappers op het terrein van mens en organisatie hun energie veel meer richten op het ondersteunen en versnellen van dergelijke collectieve leerprocessen. Laten we de management- en bedrijfswetenschappen nuttiger en relevanter maken. Dat heeft volgens mij meer toekomst dan vasthouden aan DE methode.

Kennisbank onderwerpen:

Kennisbank onderwerpen:

 

Reageer

Na het plaatsen kunt u uw reactie nog 30 minuten aanpassen.

Reacties

Een stuk uit mijn hart gegrepen.

Bij praktijkgericht onderzoek rond vraagstukken van organisatieontwikkeling en samen leren en richting geven aan die ontwikkeling, gaat het mijns inziens niet om het isoleren van details in het onderzoek, maar in het ontdekken van, en sturen op, de grote lijnen. Het (kort cyclisch) zoeken naar hefbomen die werken…

Transparantie bieden in de wijze waarop dat collectieve leerproces plaats vindt, wat daarin werkzame elementen zijn, dat zou de moeite waard zijn om als “onderzoeksmodel” verder uitwerking en verdieping te krijgen. Zelf ben ik gecharmeerd van “Appreciative Inquiry” (waarderend onderzoek) van David Cooperrider en “Reteaming” van Ben Furman…

Of zoals Stufflebeam ooit is geciteerd door Swanborn: “The most important purpose of evaluation is not to prove, but to improve…”
Organisatieontwikkeling, verandermanagement, organisatieleren zijn situationeel en constructivistisch, en dat vraagt een specifieke benadering van onderzoek en begeleiderschap.
De “methode” is daarbij ondergeschikt aan het bieden van transparantie aangaande het proces en de specifieke toepassing van “een methode”. Het vraagt geen lineaire vorm van onderzoek (starten bij een vraag en dan stug doorwerken) maar een interactieve en iteratieve aanpak én verantwoording…

Willem de Vlaming

Dat is dan wel het mooie van het topje van Stapel’s ijsberg: we gaan het weer eens hebben over het doel, het nut en de wijze van wetenschappelijk (management-) onderzoek.
Bijdragen als deze van Mastenbroek helpen in dit soort dialogen. Niet dat het ooit tot een oplossing komt, maar het gaande houden van het bewustzijn is een grote stap voorwaarts.

Onlangs is op een dochtersite een interessante discussie gevoerd over dit onderwerp. Alhoewel discussie… Het was vooral een dialoog tussen wetenschappers die zich het nut van TOEGEPAST wetenschap maar al te goed beseffen.
Die dialoog speelde zich af in het veld van projectmanagement. Dat is al helemaal een managementgebied waar practice-based nog altijd domineert boven evidence-based.
Langzaamaan verschuift er iets. Praktijkmensen zien de meerwaarden van gedegen onderzoek (al ontbreekt hun stem in de dialoog) en wetenschappers ‘doen het’ voor een praktijkprobleem.

http://www.projectenmanagen.nl/onderzoek/een-gelukkig-huwelijk

Ik denk niet dat dit soort artikelen kennisontwikkeling bevorderen. Het lijkt voor mij teveel op een pleidooi voor maar wat aanrommelen. De suggestie dat er 1 methode zou zijn is sowieso tekort door de bocht. Er is wel een principe dat veel meer als eis gesteld moet worden bij beweringen op allerlei terreinen: evidence basedness: duidelijke hypothese, goed geoperationaliseerde experimentele variabele, heldere criteriummaten, experimentele groep, controle groep (beide van voldoende omvang) en at random toewijzing aan 1 van beide groepen.

Dat zou ik niet de mathematische methode willen noemen, statistiek speelt hier een rol bij vaststellen van de omvang van effecten.

Dag Willem,

Kwalitatieve methoden, op basis van casemateriaal en historische ervaringen zijn evenzo kwetsbaar als statistische. In beide gevallen creeren mensen / onderzoekers de ‘werkelijkheid’ die ze zelf (willen) zien.

Vriendelijke groet,
Leon Dohmen

Beste Leon

Geef mij dan maar de ‘creaties’ die herkend worden door gebruikers als trefzeker en doelmatig en die aldus door ‘de community van practitioners’ getoetst en verder ontwikkeld worden.

mvg/Willem

Helaas heeft ‘case-based’ onderzoek ook geen goede track record – zeker niet op het gebied van de ‘business sciences’. We kennen allemaal het boek van Peters & Waterman waarbij het overgrote deel van de door hun als ‘excellente’ ondernemingen enkele jaren later in zwaar weer waren gekomen.
Interessant in dit kader is ook het boek ‘Dance with Chance’ (zie http://www.dancewithchance.com), waarin de empirische resultaten van allerlei managementstudies tegen het licht worden gehouden – met zeer teleurstellende resultaten.
Misschien moeten we tot de conclusie komen dat ‘business science’ niet bestaan, dat er wetenschappelijk gesproken niet zo veel over te vertellen valt. Dat doet dan niets af aan het feit dat praktijkmensen zich kunnen laten inspireren door cases en daar hun voordeel mee kunnen doen.

Klagen, maar niet versagen!
Inderdaad, onderzoek doen is kwetsbaar, in welke vorm dan ook. Ik pleit dus voor een maximale variatie aan onderzoeksvormen. En dat kan ook, voor elke vorm zijn methodische regels en tijdschriften waarin je het kwijt kunt. Treurig is natuurlijk dat veel universiteiten zo eenzijdig het natuurkundig model aanhangen, zeker in de psychologie.
Onderzoek in de sociale wetenschappen is beschrijven/vastleggen van een continu bewegend en zichzelf veranderend doel. Dus wees bescheiden als het gaat om generaliseerbaarheid en houd je aan de basisregels. Als je successen beschrijft, zet ze dan af tegen minder succesvolle populaties of gevallen. Dan krijg je de echte dingen die verschil maken, in plaats van voorspelbare en sociaal wenselijke lijstjes. En het helpt de cases bij naam en toenaam te noemen, waar dat kan. Dan kan iemand dat nog eens nagaan. Inderdaad, net als bij Peters & Waterman, die hebben zich wel kwetsbaar daarin opgesteld, waarvoor chapeau. Beschrijf de inbedding en de context. Allemaal dingen die helpen te ontdekken hoe serieus je bepaalde resultaten kunt nemen.
Maar wat een armoe als er geen wetenschap meer zou zijn. Wat is er veel interessant, inzichtgevend en werkzaam materiaal geproduceerd, alleen al op het gebeid van strategy & change, waar ik zelf op ben gepromoveerd. Wat een rijkdom, laten we dat goed beseffen. Kortom, even lekker klagen, beter opletten, maar niet versagen!

Beste Jaap

Toch bevatte het het boek van Peters & Waterman handvatten en inspiratie voor beter managen en organiseren. Dat we er nog lang niet zijn is ook duidelijk geworden. Maar dat wisten we al.
Wat dat betreft is onze kennis over beter managen en organiseren een jungle. Er zijn mooie bloemen in te vinden maar ze worden vaak overwoekerd door modieuze prietpraat en de beloftes van ‘gouden bergen’. Precies zoals eeuwen geleden alchemie en chemie met elkaar vervlochten waren: Terwijl de alchemisten werkten aan ‘de steen der wijzen’ om lood om te zetten in goud begon er ook al kennis te ontstaan over ‘het systeem der elementen’.
We verkeren met ‘business science’ in een vroegwetenschappelijke fase met alle kenmerken van magie, charlatanerie, overtrokken claims en grote verwarring.

De reden dat we daar zo moeilijk uitkomen heeft alles te maken met de dominantie van De methode. Vandaar mijn pleidooi voor andere benaderingen. Een benadering die, met of zonder de inzet van de academische wereld, voortgang vindt. Professionals en vakmensen zijn in de weer met het verder verbeteren van hun kennis over strategieontwikkeling, organisatie-ontwerp, supplychain-management, communicatie-verbetering, performance-management en leidinggeven. Om maar een paar onderwerpen te noemen waarover continu uitwisseling van ervaringen plaats vindt. Men gaat echt niet zitten wachten op de wetenschap. Men wil verder.

Gelukkig zijn er nog steeds niches aan onze universiteiten met wetenschappers die hier actief aan meedoen. Met meer denk- en onderzoekskracht kunnen we dit collectieve leerproces veel meer goede impulsen geven. Het pleidooi van Paul Kloosterboer om meer variatie aan onderzoeksmethoden te cultiveren is een goede stap. Maar de aanhangers van ‘De methode’, die de onderzoeksgelden verdelen en beslissen over wel of niet publicatie in de top-tijdschriften, doen daar niet aan mee. Integendeel. Het afscheidscollege van Godfroij over hoe het de bedrijfs- en managementwetenschappen vergaat, spreekt boekdelen.

Binnen de psychologie denk ik niet dat de kwantitatieve methode zorgt voor het probleem. Er zijn daar namelijk heel behoorlijke resultaten mee geboekt. In het onderzoek naar mindfulness bijvoorbeeld zijn we de afgelopen jaren wel degelijk wat opgestoken. We weten beter dat het werkt en zelfs ook een beetje hoe het werkt. Ook in het nieuwe onderzoek naar zelfdiscipline zijn er bevindingen gedaan die zeer van toepassing zijn in de praktijk.

Er wordt dus genoeg relevant en toepasbaar onderzoek gedaan in de wetenschappelijke psychologie. Het probleem is dat er te weinig “makelaars” zijn: personen die de brug bouwen tussen de wetenschap en de praktijk. Psychologen lezen geen A-tijdschriften omdat die niet voorhanden zijn, niet begrijpelijk genoeg geschreven zijn of omdat de artikelen niet direct “naar de praktijk toe” zijn geschreven.

Dat hier zo weinig aandacht aan besteedt wordt is overigens wel te wijten aan het wetenschappelijk bedrijf. Er wordt daar over het algemeen buitengewoon neerbuigend tegenover de popularisatie van wetenschap. Bovendien is er geen tijd voor, want het succes van een wetenschappelijke carriere wordt louter gemeten in bijdragen in Engelstalige tijdschriften en niet in het “aan de man brengen” van het onderzoek. Als de rol van makelaar tussen praktijk en wetenschap beter opgepakt wordt, zullen psychologen vanzelf meer kennis willen nemen van het nieuwste onderzoek.

[…] Mastenbroek schrijft in zijn column De affaire Stapel in ManagementSite over de achterliggende drijfveren en mechanismen van dit gesjoemel. Hij wijt het […]

[…] kritiek staat niet op zichzelf. In NL maakte de affaire Stapel soortgelijke commentaren los. De affaire Stapel – Effecten van DE wetenschappelijke methode. Het oppoetsen van een ‘dood […]

Toon alle 11 reacties
x
x