Het eindrapport van de commissie Levelt is duidelijk. Het is de onderzoekscultuur! Goed werk maar we zijn er nog lang niet. Waar komt die onderzoekscultuur vandaan? Wat houdt die cultuur in stand?
De crisis van DE wetenschappelijke methode
Ik kom veel psychologen tegen in de praktijk van advieswerk, coaching en opleiding. Ik heb nooit iets gemerkt van enige interesse in de A-tijdschriften waarin de top van de psychologische wetenschappers publiceert. Kurt Lewin, twee generaties terug een vooraanstaand psycholoog, verkondigde: "Niets is zo praktisch als een goede theorie". Dat schiet dus niet op.
De kloof tussen wetenschap en praktijk vinden we overigens ook bij andere menswetenschappen zoals de sociologie en de economie. Zie ook het afscheidscollege 'De kloof tussen theorie en praktijk' van Godfroij over zijn 35 jaar als wetenschapper op het gebied van management en organisatie.
Dit is te wijten aan de door de natuurwetenschappen geïnspireerde methode van wetenschapsbeoefening; een mathematische benadering met een stevig gebruik van statistiek om relaties tussen meetbare variabelen op te sporen.
Als er iets geteld kan worden, dan moeten we dat zeker doen maar het is een ernstige misvorming van het wetenschappelijke bedrijf om de mathematische methode als DE methode voor de menswetenschappen te blijven cultiveren.
Het idee dat we hiermee een rijke oogst aan theorie en toepassing zullen oogsten is een fantasie gebleken. Het opleuken van onzinnig stukwerk is in de plaats gekomen van goede theorievorming.
De gevolgen van DE methode zijn bij insiders allang bekend
Herhaaldelijk raakte ik op congressen in gesprek met wetenschappers die vertelden hoezeer ze in het keurslijf van de statistiek worden gemangeld en hoe de praktische waarde van hun bezigheden daaronder te lijden heeft. Maar ja … om een aanstelling te krijgen of te houden aan de universiteit en om in een A-tijdschrift je resultaten gepubliceerd te krijgen moeten ze wel.
Welnu, als je het idee hebt dat je gedwongen wordt met een ‘pruts-methode’ te werken dan is het niet zo’n grote stap om met zo’n pruts-methode verder te prutsen.
Zo begint het gesjoemel en wordt de weg naar fraude en corruptie ingezet. En niet alleen in NL. Zo lees ik over de situatie in de VS: 'Tweederde van de psychologen schrapte onwelkome resultaten. Psycholoog wil geen pottenkijkers.' NRC. 11-11-11.
Een ander schrijnend gevolg is de verdringing van andere methoden. De leerstoelen en vakgroepen die niet werken met DE methode en dus niet in de A-tijdschriften publiceren, worden afgeknepen en wegbezuinigd. En niet alleen bij de psychologie.
Wordt het zo hard gespeeld? Ook in NL? Zeker. Zo lees ik over de bezuinigingen aan economiefaculteit van de UvA:
Het gevolg is dat er gesneden gaat worden op basis van outputcriteria die negatief uitpakken voor alles wat niet publiceert in het handjevol Amerikaanse toptijdschriften dat ieder artikel zonder wiskundige vergelijking ongelezen naar de prullenmand verwijst. Dat grondleggers als Adam Smith, Joseph Schumpeter en John Maynard Keynes het zonder konden, doet niet ter zake. Bron: 'Stop de bonentellers aan de UvA'. Zie ook: Wetenschap op dood spoor.
Wat gaan de dominante cultuurdragers nu anders doen?
Om de onderzoekscultuur te veranderen zullen de dominante cultuurdragers moeten veranderen. De redacties en reviewers van de A-tijdschriften, de hoogleraren die beslissen over onderzoeksgelden en aanstellingen. De leescommissies van de dissertaties, de groep van 70 rond Stapel... tja, wie eigenlijk niet? Ook moeten we af van de kippendrift om in de zogenaamde A-tijdschriften te publiceren.
Wie denkt dat dit gaat gebeuren mag het zeggen. De redacties van de A-tijdschriften hebben hun basis voor het overgrote deel in de VS. Gaat het roer daar nu om? En in NL?
Er worden nu toch maatregelen genomen!
De reviews moeten beter, de onderzoeksgegevens moeten zorgvuldiger worden bewaard. Er moet meer replicatie onderzoek gedaan worden, de promovendi moeten studeren op meer en betere statistiek.
Dit is meer van hetzelfde en bovendien niet uitvoerbaar.
Meer replicatie onderzoek.
Terwijl er nauwelijks iemand te porren is voor replicatie onderzoek. En als het al gedaan wordt dan zet men alles op alles om aan te tonen dat het oorspronkelijke onderzoek niet deugt. Anders krijg je je artikel niet gepubliceerd. Redacties zitten niet te wachten op de uitkomst ‘het klopt wat er x jaar geleden door y en z is gepubliceerd’.
Maar daar valt een mouw aan te passen. Er is altijd wel wat te vinden om toch de aandacht te trekken. Het bekendste experiment uit de sociale psychologie is het Milgram-experiment waarbij mensen uitzonderlijk ver gingen om elkaar pijn te doen. Dit is onlangs door enige wetenschappers nog eens bestudeerd en was al eerder in 2009 herhaald. En ja hoor: alles wijst er nu op dat de conclusies van Milgram niet kloppen. 'Not Obedience But Followership'
Repliceren wordt aldus een soort ‘Hang yourself methode’ voor de sociale psychologie.
Betere reviews?
Onlangs vertelde een reviewer mij dat hij wel gek zou zijn om er veel tijd en energie in te stoppen. 'Wat levert het op, alles narekenen, zeker?' Hij was zelf veel te druk bezig om zijn eigen werk in een A-tijdschrift gepubliceerd te krijgen.
En wie gaan het goed repliceren en reviewen nu afdwingen en controleren? Worden daar instanties voor aangesteld of misschien wel een keurkorps van methodologen die wetenschappers de maat gaan nemen? Daar moet je toch niet aan denken. Maar hoe dan wel?
Symptoombestrijding terwijl we om het echte probleem heenlopen
Bij de voorgestelde remedie is twijfel gepast. De uitvoerbaarheid rammelt. Bovendien is het een remedie van 'meer van hetzelfde'.
Wel is er steeds meer informatie, tot in de dagbladen toe, over de statistische trucs, de onbeheersbare effecten en de trivialiteit van de onderzoeksresultaten. En dat zal doorgaan! Wordt het niet eens tijd de methode die zoveel ongewenste effecten oproept in twijfel te trekken. Wat we nodig hebben is een herbezinning op de grondslagen en de consequenties van de dominante wetenschappelijke methode en de perverse prikkels die het circus van publicatiedrift aanjagen.
Kom met uw praktijkervaringen op het terrein van managen en organiseren
Deel uw kennis, schrijf 3 columns of artikelen en ontvang een gratis pro-abonnement (twv €200)
Word een pro!
SCHRIJF MEE >>
Eerlijk gezegd lijkt er mij weinig mis te zijn met de natuurwetenschappelijke methode als zodanig, en ook niet met haar objectiviteitsadagium: "meten is weten". Dat zeg jij eigenlijk ook niet.
Wel gaat het inderdaad mis als DE (natuur)wetenschappelijke methode door zichzelf en door haar vele aanhangers wordt gezien als de enige methode of manier van kijken en vervolgens:
[1] met oogkleppen op wordt toegepast op domeinen waarop zij niet van toepassing is, en
[2] alle andere methoden als niet serieus worden afgedaan
Een interessant en ook actueel voorbeeld is de recente uitspraak van minister Schippers van Volksgezondheid, dat vanaf 1 juli alleen nog op verpakkingen en bijsluiters van homeopathische medicijnen mag staan waarvoor ze gebruikt kunnen worden, als de werking wetenschappelijk is bewezen.
De kernoorzaak van deze breed in onze samenleving doorwerkende wetenschapsproblematiek is dat de dominante cultuur van de westerse mens - zeg maar sinds de verlichting of moderniteit - haar ogen op grote schaal heeft gesloten voor die domeinen van de werkelijkheid, die met onze zintuigen en/of de technische verlengstukken daarvan (telescopen, microscopen, etc.) niet zijn waar te nemen.
Of populair gezegd: 'wat je niet eenvoudig kunt zien of aantonen, bestaat gewoon niet. Dit is typisch een probleem van de 'ziend-blinde' (vooral westerse) mens, die - paradoxaal en ironisch genoeg - zonder het zich te realiseren juist 'heilig gelooft' in de gangbare wetenschappelijke methode (net als minister Schippers), terwijl hij juist het 'geloof in iets' graag afdoet als niet-wetenschappelijk en niet serieus te nemen argument.
Een zinvolle "herbezinning op de grondslagen en de consequenties van de dominante wetenschappelijke methode" zoals jij voorstelt, is daarom niet mogelijk zonder een brede én diepgaande reflectie op de karikaturale ontsporingen van onszelf als 'ziend-blinde' mensen.
Een bizarre bijkomstigheid hierbij is, dat juist ook het fenomeen van de 'ziend-blinde' mens als zodanig - en daarmee dus ook datgene wat hij allemaal niet eenvoudig kan zien en aantonen - nu net niet met onze gangbare wetenschappelijke methode aantoonbaar is.
Of gezegd in termen van het voorbeeld van minister Schippers: een homeopaat zal door minister Schippers eenvoudig niet worden begrepen en daarom moet de homeopathie gewoon uit de schappen verdwijnen.
Wie wil reflecteren, kan het beste bij zichzelf beginnen. En dat werkt ook, want er zijn steeds meer mensen die daarvoor kiezen, zoals ook blijkt uit steeds meer discussies op deze site.
Met vriendelijke groet,
Lex
Het grote succes en het hoge wetenschappelijk aanzien van de natuurwetenschappen is onmiskenbaar. Dit is de reden dat wetenschappelijk te werk gaan gelijk gesteld werd met natuurwetenschappelijk te werk gaan. Een 'echte' wetenschap bedient zich van methoden á la de natuurwetenschappen. Hard empirisch onderzoek d.m.v. operationalisering en kwantificering alsmede het gebruik van moderne statistische en mathematische technieken zullen ook van de menswetenschappen 'echte' wetenschappen maken. Zo is de redenering.
Velen zien kennelijk geen principieel verschil tussen de samenhangen die zich in de natuur voordoen en de samenhangen die menselijk gedrag beïnvloeden. Ook is DE methode zo dominant geworden dat velen zich nauwelijks een alternatief kunnen voorstellen. Immers waar kom je dan bij uit. Wat subjectief geklets in de ruimte?
Inmiddels komen we steeds beter te weten bij wat voor onzin we met DE methode uitkomen. En de kennisontwikkeling over menselijk gedrag staat in de dagelijkse praktijk niet stil; soms ook in samenwerking met wetenschappers aan de universiteiten. Dan maar niet in een A-tijdschrift publiceren.
Wat jij in jouw laatste reactie schrijft, onderschrijf ik voluit. Toch is er in het licht van deze problematiek nog een opmerkelijke ontwikkeling gaande, die hierbij aansluit en het vermelden waard is.
Het is namelijk 'uitgerekend' de natuurwetenschap die aan het punt dat jij maakt, zelf al weer 'voorbij' lijkt te komen en niet alleen de betrekkelijkheid van wat jij noemt: "DE Methode", haarscherp onder ogen ziet, maar ook wijst op een mogelijke oplossingsrichting die het conventionele objectivistische denken radicaal op de kop zet.
Zo heeft de natuurkundige Werner Heisenberg - een van de grondleggers van de quantummechanica - de volgende pregnante uitspraken gedaan:
[1] What we observe is not nature itself, but nature exposed to our method of questioning (http://www.youtube.com/watch?v=VsKzeCx9Tho).
En hij gaat nog verder:
[2] De eerste dronk uit de beker van de natuurwetenschap maakt atheïstisch, maar op de bodem van de beker wacht God (citaat afkomstig uit: Elke golf is de zee, Williges Jäger, pg. 112).
Deze citaten sluiten naadloos aan bij het feit dat het fundamentele natuurwetenschappelijke onderzoek steeds indringender in aanraking komt met een werkelijkheid die niet in twijfel kan worden getrokken, maar ook niet met de middelen van de logica en het analytische denken kan worden begrepen.
Zo lijkt de natuurwetenschap met haar objectief-meetbare successen dus eerst het domein van de subjectieve binnenwereld tot wetenschappelijk irrelevant te hebben gemaakt en lijkt diezelfde natuurwetenschap nu te komen tot een herontdekking van de metafysica en mystieke spiritualiteit.
Dat kan nog interessant worden.
Met die spreuk wilde Kamerlingh Onnes vermoedelijk (en terecht) aangeven, dat meten een noodzakelijke voorwaarde is voor de effectiviteit van activiteiten die primair gericht heten te zijn op vermeerdering van onze kennis van de ervaringswereld. De verbastering tot "Meten is weten" - alsof meten daar een voldoende voorwaarde voor zou zijn - is misschien mede gaan "rondzingen" doordat zij de achterflap ontsierde van "Een model voor juridische informatica" (Vermande, 1984), de dissertatie van mijn promotus Richard V. de Mulder. Wellicht ben ik dus mede verantwoordelijk voor de populariteit van die onzinnige leus!
Eerlijk gezegd ontgaat het mij dat "meten een noodzakelijke voorwaarde is voor de effectiviteit van activiteiten die primair gericht heten te zijn op vermeerdering van onze kennis van de ervaringswereld".
Begrijp me niet verkeerd, uiteraard is er niets tegen meten als het noodzakelijk, mogelijk of zinvol is.
Maar er zijn toch ook aandachtsgebieden of domeinen van de ervaringswereld, ten aanzien waarvan wij onze kennis en inzichten willen vermeerderen, waar het meten niet altijd en soms helemaal niet mogelijk of zinvol is?
Denk bijvoorbeeld aan de wereld van de psychologie/psychotherapie of antropologie.
Of ben ik nu misschien spijkers op laag water aan het zoeken?
Met vriendelijke groet.
Als psycholoog uit tijden dat de citatie-index nog niet bestond wil ik toch graag een ander duit in het zakje doen. Wat me al geruime verbaast aan veel psychologisch onderzoek -dat nota bene nog gepubliceerd wordt ook- is dat het zo weinig bijdraagt aan wezenlijke kennis van de menselijke psyche en gedrag. Als het zo zou zijn dat vegetariërs aardiger mensen zijn in de omgang (quod non), dan zou een psycholoog de vraag horen te stellen waarom dat zo is: welk cognitief mechanisme zit daarachter, welke samenhangende persoonlijkheidseigenschappen, welke sociale bekrachtigingsmechanismen, welke fysiologische of neurologische feedbackcirkels die tot beloning leiden -ik noem maar enkele paradigma's- . Helaas laat steeds meer onderzoek het bij het opsporen van allerlei bizarre statische verbanden. die dan inderdaad met een iets andere onderzoeksopzet gemakkelijk weer zijn te ontkrachten met even slordig onderzoek.
In dat licht is het 'ontkrachten' (het is nog maar een suggestie) van de 'theorie' van Milgram dat mensen graag achter een autoriteit aanlopen en dan zelfs bereid zijn tot het beschadigen van hun medemens eigenlijk wel gezond. De alternatieve theorie dat mensen zich graag identificeren met de missie van een leider van een onderzoeksexperiment en bereid zijn op een zeker punt te luisteren naar tegenargumenten van iemand met een andere missie is net zo plausibel. Maar wezenlijk zijn hier twee verschillende experimenten gedaan. Logisch dat die elk een andere uitkomst hebben. Nu wordt het juist interessant: zijn er psychologische mechanismen te formuleren die generiek genoeg zijn om veel zo niet alle gedrag te verklaren in een situatie waarin je wordt uitgenodigd mee te doen met iets dat ethisch discutabel is. En zijn daaruit rivaliserende hypothesen te ontwikkelen die vervolgens getoetst kunnen worden. Natuurwetenschappelijk? Misschien, maar in dit voorbeeld is daar m.i. niks mis mee.
Of dat onderzoek nu wordt opgetuigd weet ik niet. Het zou wel moeten, want dan wordt het pas wetenschap in de zin dat het bijdraagt aan ons begrip over de mens. Maar het zal wel te tijdrovend zijn, met te ongewisse uitkomsten, en te veel onzekerheid over publicatiemogelijkheden.
Je schrijft dat "er (...) aandachtsgebieden of domeinen van de ervaringswereld zijn, ten aanzien waarvan wij onze kennis en inzichten willen vermeerderen, (... zonder dat) meten (..) mogelijk( ...) is."
De meest primitieve vorm van meten is de productie van uitspraken waarvan door hoorders of lezers aan de hand van waarnemingsgegevens in principe kan worden nagegaan of ze onwaar zijn. Als ik je goed begrijp, vind je dat wij iemand au sérieux mogen nemen die in de contekst van gepretendeerde wetenschapsbeoefening stelt, zonder zulke uitspraken bij te kunnen dragen aan onze kennis van de ervaringswereld. Ik ben dat niet met je eens.
Met vriendelijke groet,
Cor
Wat ik wil zeggen, is dat ik belangrijke natuurwetenschappers en mystici "au sérieux" neem, die begrijpen dat er werkelijkheidsdimensies zijn, die voor ons intellect onkenbaar zijn, maar die wel toegankelijk zijn voor een spirituele ervaring.
Hierbij denk ik niet alleen aan mensen als Albert Einstein, Werner Heisenberg, Max Planck, Wolfgang Pauli en Gari Zukaf, maar ook aan de Amerikaanse natuurkundige, filosoof en bewustzijnsontwikkelaar Ken Wilber en de Duitse benedictijnermonnik en zenmeester Williges Jäger.
In lijn hiemee richt mijn interesse in deze discussie zich vooral op de vraag hoe en in hoeverre de wetenschap en de mystiek elkaar nabij kunnen komen. Hiermee sluit ik ook aan bij de oproep van Willem Mastenbroek om een "herbezinning op de grondslagen en de consequenties van de dominante wetenschappelijke methode".
De vraag waar binnen de huidige conventies van wetenschapsbeoefening precies de grens ligt of een uitspraak "in de contekst van gepretendeerde wetenschapsbeoefening" nog serieus genomen kan worden, inspireert mij in deze fase van de discussie minder, omdat ik verwacht dat deze grens gaat verschuiven. Niet alleen als gevolg van, maar ook ten behoeve van nieuwe inzichten en bewustzijnsontwikkeling.
Met vriendelijke groet en een goede Kerst gewenst,
Lex
Dank voor je reactie. Ter afsluiting van deze discussie spreek ik de hoop uit, dat je me ooit nog eens zult vertellen, wat je weet over wat er zich in die werkelijkheidsdimensies voordoet of heeft voorgedaan.
Overigens, dat het bestaan van dergelijke "voor ons intellect onkenbare" dimensies pas kort geleden is geconstateerd, zoals je schijnt te veronderstellen, dat geloof je toch zelf niet? Alsof de overtuiging van hun bestaan niet minstens zo oud is als het universitaire onderwijs in West-Europa! Ik hoef maar te wijzen op de uiteenzettingen van Hugo van Sint Victor (gest. AD 1141, éen van de 'peetvaders' van Thomas van Aquino (1225-1274)) over het onderscheid tussen de proposities waarvan wij dankzij onze ratio de waarheid kennen enerzijds, en die welke wij geloven anderzijds. Van de laatsten zijn sommige "secundum rationem" (in overeenstemming met onze ratio), de overige "supra rationem" (onze ratio te boven gaand). "In iis quae supra rationem sunt, non adiuvatur fides ratione ulla; quoniam non capit ea ratio, quae fides credit ..." ("De sacramentis christianae fidei", Migne, Patrologia Latina CLXXVI p. 231-232).
Dat ik je daar op het feest van de Menswording Gods nog op moet wijzen ...
Een voorspoedig 2013 toegewenst!
Cor
Dank voor jouw uitleg dat de erkenning van het bestaan van voor ons intellect onkenbare dimensies niet nieuw is. Het doet me deugd dat jij erin gelooft dat het zinvol is om daar anno nu tijdens de Kerstdagen hier op het internet je nader op in te gaan. Inderdaad niet nieuw, kennelijk toch actueel.
Zal er dan nu enige twijfel aan de dominantie van DE methode voor de mens-wetenschappen ontstaan?
Hoe dan ook, het is winst dat de replicatie op gang komt.