- Situatie
- Uitkomst
- Voorspellende waarde
- Economisch nut
- Wat maakt intelligentietests effectief?
- Wat maakt persoonlijkheidsvragenlijsten fascinerend?
- Wat maakt intelligentietests minder populair?
- Ontwikkelingen
- Stellingen
- Referenties
- Noten
Situatie
Een dag in oktober vorig jaar. Een honderdtal managers en adviseurs van een grote overheidsinstelling is bijeen in de School voor de Toekomst in Den Bosch op een congres over Human Resource Management. Eén van de programmaonderdelen is een HR-quiz. Vijftien vragen worden gepresenteerd die gaan over "feiten en effecten" op HRM-gebied. Deelnemers hebben de mogelijkheid om met een stemkastje hun antwoord te geven door te kiezen uit vier alternatieven.
Vraag 13 luidt als volgt: "Welk selectie-instrument voorspelt het beste het succes van mensen in hun werk?" De alternatieven zijn: a) intelligentietest b) referenties c) studiecijfers d) persoonlijkheidsvragenlijst.
Meteen na het beantwoorden van deze vraag volgt het plaatje van de uitkomsten. Dat zag er uit zoals hieronder:
Uitkomst
Ongeveer 83% van de deelnemers denkt dat de persoonlijkheidsvragenlijst het best voorspellende selectie-instrument is, 9% kiest voor de intelligentietest, 7,5% kiest referenties en niemand kiest studiecijfers als de beste predictor.
Deze uitkomst is verrassend als die wordt afgezet tegen de correcte antwoorden. Op basis van empirisch onderzoek is namelijk gebleken dat de intelligentietest verreweg superieur is aan de persoonlijkheidsvragenlijst als voorspeller van succes in het werk.
Er waren in deze HR-quiz wel meer vragen waarvoor discrepanties bleken te bestaan tussen empirisch gefundeerde kennis en opvattingen van de deelnemers. De overwaardering van de persoonlijkheidsvragenlijst en de onderwaardering van de intelligentietest sprong er echter zeer uit. Ditzelfde verschijnsel is ook opgemerkt, door Rynes, Colbert en Brown (2002) die uitkomsten van een HR-quiz presenteerden. We hebben ook geen reden om te veronderstellen dat ditzelfde patroon niet zou optreden bij andere bedrijven en organisaties. Integendeel, mijn stelling is dat er bij Nederlandse bedrijven en organisaties een persoonlijkheidscultus in het competentiemanagement heerst die tot uiting komt in een niet gerechtvaardigd vertrouwen en gebruik van de persoonlijkheidsvragenlijst.
In de rest van dit artikel wil ik de volgende onderwerpen behandelen. Aan de hand van de state-of-the-art van empirisch onderzoek laat ik zien wat beide soorten instrumenten waard zijn. Een vraag die vanuit bedrijfseconomisch oogpunt relevant is betreft de schade die bedrijven lijden door overbenutting van de vragenlijst en onderbenutting van de test. Vervolgens wil ik nagaan wat kan verklaren waarom een intelligentietest effectiever is dan een persoonlijkheidsvragenlijst. Ik probeer verklaringen te geven voor de fascinatie die persoonlijkheidsvragenlijsten bij managers blijkbaar opwekken en voor de afkeer die intelligentietests wellicht oproepen. In de voorlaatste paragraaf beschrijf ik enkele ontwikkelingen die hoopvol stemmen over de mogelijkheid om vragenlijsten meer valide te maken en intelligentietests meer acceptabel. Ik sluit af met een aantal stellingen.
Voorspellende waarde
Er is zeer veel onafhankelijk onderzoek gedaan, vooral in de VS, naar de voorspellende waarde van de twee soorten instrumenten. Die resultaten zijn ook gebundeld in samenvattende onderzoeken, meta-analyses genoemd. Uit de meta-analyses komen de beste schattingen van de echte validiteit. Ik baseer me op de resultaten die beschreven worden in een zojuist verschenen handboek voor bedrijfs- en organisatiepsychologie van Borman, Ilgen, Klimoski en Weiner (2003). Voor de intelligentietest baseer ik me op het hoofdstuk van Drasgow, voor de persoonlijkheidsvragenlijst op dat van Hough & Furnham.
De voorspellende waarde van intelligentietests voor "overall" werksucces is gemiddeld .51 (zie ook Schmidt & Hunter, 1998), die van persoonlijkheidsvragenlijsten gemiddeld .19. De validiteit van .19 van persoonlijkheidsvragenlijsten komt tot stand door de uitslagen op de "big five"-factoren (Extraversie, Vriendelijkheid, Gewetensvolheid, Stabiliteit en Openstaan voor ervaring) vermenigvuldigd met optimale gewichten bij elkaar op te tellen. [1]
Economisch nut
Het economisch nut van instrumenten is rechtstreeks gekoppeld aan de predictieve validiteit van die instrumenten. Daarom kan men zeggen dat de intelligentietest (met een validiteit van .51) 2,5 keer zoveel nut heeft als de persoonlijkheidsvragenlijst (met een validiteit van ten hoogste .19). Wat betekent het verschil in validiteit tussen.51 en .19 in euro's?
Empirisch onderzoek heeft inzicht gegeven in de waarde van prestatieverschillen van mensen binnen eenzelfde functie. Binnen een functie van academisch niveau verdient een medewerker die behoort tot de top 20% jaarlijks al vlug € 25.000 meer voor een organisatie dan een gemiddelde medewerker. Een organisatie die potentiële top-20% mensen wil selecteren vergroot met een meer valide methode de kans om die meerwaarde te bereiken. Na selectie met validiteit van .51 is de verwacht meeropbrengst per persoon per jaar ongeveer € 8.000 hoger dan bij selectie met validiteit van .19. [2]
Als de organisatie de selectieprocedure vijf jaar aanhoudt en per jaar tien nieuwe mensen selecteert, bedraagt het verschil in utiliteit ongeveer € 400.000.
Natuurlijk is deze procedure waarin uitsluitend wordt geselecteerd met één instrument onrealistisch, maar het gaat erom te laten zien welke bedragen gemoeid zijn met meer valide selectieprogramma's.
In de titel van dit artikel staat "competentiemanagement". Personeelsselectie is daarvan slechts een deelactiviteit. We zijn echter van mening dat het bij validiteit om een criterium gaat dat net zo goed van toepassing is op de kwaliteit van andere activiteiten die horen tot het competentiemanagement, bijvoorbeeld van "self-assessment" voor loopbaanoriëntatie. Minder valide instrumenten leiden tot minder goede beslissingen van welke aard dan ook.
Wat maakt intelligentietests effectief?
Wat maakt de intelligentietest effectiever dan de vragenlijst?
Een belangrijke oorzaak is dat de intelligentietest meer dan de vragenlijst afgestemd is op de kernvariabele waarin organisaties en bedrijven geïnteresseerd zijn: productiviteit in het werk. Het werken aan een intelligentietest is verwant met werkprocessen die productiviteitsbevorderend werken: snel informatie verwerken en schiften, informatie koppelen aan reeds beschikbare kennis, problemen analyseren en oplossen. Intelligentie is het omgaan met complexiteit, hoe complexer de omgeving hoe hoger de toegevoegde waarde van intelligentie. Over de inhoud van de persoonlijkheidsvragenlijst komen we terug.
Naast de inhoudelijke afstemming is de vorm van de intelligentietest fundamenteel verschillend van die van de vragenlijst. De intelligentietest vraagt om objectief scoorbare prestaties en is daarom een echte test. Een vragenlijst vraagt naar stijlen van handelen, stelt niet op de proef. In de instructie wordt gezegd dat er geen goede of slechte antwoorden zijn. Daar komt nog bij dat de vragenlijst een zelfbeoordelingsinstrument is. Het is bekend dat enkelvoudige beoordelingen onbetrouwbaar zijn (Hofstee, 1999). Om de betrouwbaarheid op te voeren zou je ook nog beoordelingen van anderen kunnen inwinnen, maar dat is vaak niet eenvoudig en maakt deze methode duur.
De beperkte voorspellende waarde van vragenlijsten lijkt niet te liggen aan de neiging van mensen zich op gunstiger wijze voor te doen dan ze zijn. Of, beter gezegd, aan verschillen tussen mensen in die neiging, want als iedereen in dezelfde mate die neiging had, zou dat immers de validiteit niet noodzakelijk hoeven te beïnvloeden.
Wat maakt persoonlijkheidsvragenlijsten fascinerend?
Persoonlijkheidslijsten fascineren. De vragen worden door iedereen herkend. Er is een sterke interesse bij mensen voor hun karakterstructuur. Ook werkgevers zijn geïnteresseerd. Vragenlijsten lijken heel valide omdat ze in verband te brengen zijn met veel productiviteitsgerelateerde aspecten (initiatief, doorzetten, besluitvaardigheid, durf) én met aspecten die direct of indirect de productiviteit van de persoon zelf of van die van anderen beïnvloeden (empathie, stabiliteit, sociale invloed, sociabiliteit). Er lijkt met persoonlijkheidsvragenlijsten veel meer te zeggen over een persoon dan met een intelligentietest. Veel organisaties en bedrijven werken met competentiemanagement met de daaraan verbonden vocabularia van competentietermen. Het overgrote deel van die competenties gaat over karaktertrekken, niet over cognitieve capaciteiten. Vragenlijsten, bijvoorbeeld de "big five", zijn gemakkelijk aan die competenties te koppen. Sommige adviesbureaus leveren vragenlijsten waarmee, als de klant het wil betalen, dikke rapporten zijn uit te draaien.
Vragenlijsten profiteren ook van de emotionaliteitscultus die uit de VS is komen overwaaien. Auteurs als Daniel Goleman beweren dat in het bedrijfsleven emotionele intelligentie veel belangrijker is dan analytische intelligentie. In het kielzog van Goleman zijn allerlei emotionele intelligentietests op de markt gekomen. Nadere inspectie van deze tests leert dat het niet gaat om tests maar om vragenlijsten met uitslagen die herleidbaar zijn tot de "big five".
Wat maakt intelligentietests minder populair?
Die impopulariteit zal zeker liggen aan de schoolsheid van de methode ("sommetjes maken"). De taken in een intelligentietest niet lijken op wat er in het werk gebeurt. Voor mensen met werkervaring is de intelligentietest een straf. Er is echter in de loop van de jaren nauwelijks verandering gekomen in de inhoud van intelligentietest. De papier-en-potloodtest en de juffrouw met de stopwatch zijn langzamerhand wel weggeautomatiseerd. Dat de inhoud hetzelfde is gebleven zegt aan de andere kant ook iets over de kracht van het product. Een goed recept moet je niet vervangen. De intelligentietest is wel het meest succesvolle product genoemd dat de toegepaste psychologie heeft voortgebracht.
Serieuze nadelen van de intelligentietest zijn de geringe bruikbaarheid bij oudere mensen en bij mensen van allochtone komaf. Succesvol intelligent handelen is vaak op twee manieren te doen: snel verwerken van informatie of in verband brengen van informatie met reeds aanwezige kennis. In computertermen is de eerste manier te vergelijken met krachtige hardware (aantal megabytes RAM, snelheid van de processor) en de tweede met kennisbestanden en slimme software die de toegang tot die kennisbestanden regelt. Op oudere leeftijd gaat de hardware achteruit en neemt het aandeel van software in het intelligent handelen toe. Intelligentietests spreken vooral de hardware aan. Oudere mensen zullen daarop minder goed presteren.
Sommige allochtone kandidaten zijn in het nadeel omdat in de test de instructies en opgaven aan de kandidaat worden gecommuniceerd in de vorm van taal.
Rynes, Colbert en Brown (2002) geven in hun artikel aan dat het positieve nieuws over intelligentietests, namelijk hun hoge validiteit, managers, personeelsmensen en ook adviseurs niet bereikt omdat die de academische literatuur niet lezen waarin dit nieuws gepubliceerd wordt. Academici van hun kant komen er niet toe om te publiceren in tijdschriften die mensen uit de praktijk lezen.
Ontwikkelingen
Er blijven interessante vragen over waarop ik een tentatief antwoord wil geven.
In de eerste plaats: is de validiteit van vragenlijsten te verhogen? In elk geval niet door het aantal vragenlijsten te verdubbelen of verdriedubbelen. Er zijn aanwijzingen, ook genoemd door Hough en Furnham, dat er toch verbetermogelijkheden zijn. Ze zoeken het dan in de specialisatie: door vragenlijsten op maat samen te stellen en de inhoud precies af te stemmen op competentiedomeinen is validiteitswinst te bereiken. De auteurs noemen onder andere de domeinen van integriteit en van managementeffectiviteit, met validiteiten van respectievelijk .36 en .42.
Een tweede vraag is of er intelligentietests zijn te maken met een vorm die meer acceptabel is voor sollicitanten en voor werkgevers. Er zijn simulatieproeven op de markt die een hoge lading hebben op cognitieve informatieverwerking en die toch acceptabel zijn, bijvoorbeeld geautomatiseerde In-baskets (postbakoefeningen). Drasgow (2003) ziet veel in situationele beoordelingstests (Engels: Situational Judgment Tests, SJT's) [3] als mogelijke vervangers van inteligentietests voor de ervaren sollicitant.
Stellingen
- Het gebruik van persoonlijkheidsvragenlijsten bij competentiemanagement is niet in overeenstemming met de beperkte validiteit van dat instrument.
- Het hanteren van uitgebreide competentievocabulaires werkt het gebruik van persoonlijkheidsvragenlijsten in de hand.
- De validiteit van intelligentietests is in de wetenschappelijke A&O psychologische literatuur onbetwist. Weinig managers en P&O-adviseurs komen echter met deze literatuur in aanraking,
- Uitdaging 1: het ontwikkelen van gespecialiseerde vragenlijsten voor speciale (groepen van) functies of voor speciale gedragsdomeinen.
- Uitdaging 2: het ontwikkelen van intelligentietests die beter geaccepteerd worden dan de traditionele intelligentietests en die de capaciteiten van oudere personen en van personen van allochtone afkomst beter tot hun recht doen komen.
 |
Dr. Paul van der Maesen de Sombreff is A&O-psycholoog en eigenaar van Van der Maesen Advies voor Personeelsmanagement in Den Haag. Het bureau is gespecialiseerd in innovatieve assessmentinstrumenten. |
Referenties
- Cascio, W.F. (1999). Costing human resources. The financial impact of behavior in organizations, South Western College Publishing.
- Drasgow, F. (2003). Intelligence and the workplace, In: W.C. Borman, D.R. Ilgen, R.J. Klimoski, & I.B. Weiner (Eds.) Handbook of Psychology, Volume 12, Industrial and Organizational Psychology, pp. 107-130, NY: John Wiley & Sons, Inc.
- Hofstee, W.K.B. (1999). Principes van beoordeling. Methodiek en ethiek van selectie, examinering en evaluatie, Lisse: Swets & Zeitlinger.
- Hough, L. & Furnham, A. (2003). Use of personality variables in work settings. In: W.C. Borman, D.R. Ilgen, R.J. Klimoski, & I.B. Weiner (Eds.) Handbook of Psychology, Volume 12, Industrial and Organizational Psychology, pp. 131-169, NY: John Wiley & Sons, Inc.
- Maesen de Sombreff, P.E.A.M. van der (1993). Het rendement van personeelsselectie, Proefschrift Rijks Universiteit Groningen.
- Maesen de Sombreff, P.E.A.M. van der, Born, M.Ph., Van Oudenhoven-van der Zee, K.I., & Ruhe, D.R. (2003). Situationele beoordelingstests in de schijnwerpers, De Psycholoog, 38, 2, 58-67.
- McDaniel, M.A., Morgeson, F.P., Finnegan, E.B., Campion, M.A., and Braverman, E.P. (2001). Predicting job performance using situational judgment tests: A clarification of the literature. Journal of Applied Psychology, 86, 4, 730-740.
- Rynes, S.L., Colbert, A.E., & Brown, K.G. (2002). HR professionals beliefs about effective human resource practices: correspondence between research and practice. Human Resource Management, 41, 2, 149-174.
- Schmidt, F.L., & Hunter, J.E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.
Noten
[1] Dank aan dr. P.H. Dekker (statisticus bij A&O psychologie aan de VU Amsterdam) voor zijn hulp bij de SPSS-analyse van de samenvattende resultaten in Hough & Furnham (2003).
[2] De berekeningen zijn uitgevoerd met het BCG-utiliteitsmodel (genoemd naar Brogden, Cronbach & Gleser, zie Cascio, 1999; Hofstee, 1999; Van der Maesen, 1993) en uitbreidingen. Verondersteld is beide instrumenten evenveel kosten (namelijk € 200 per persoon) en dat de organisatie 20% van de sollicitanten aanneemt, in volgorde van hun score ("top-down"). Het rendement kan groter of kleiner zijn dan de berekende waarden afhankelijk van de kwaliteit van de werving en de mate waarin de organisatie selectief kan zijn.
[3] In een situationele beoordelingstest (McDaniel, Morgeson, Finnegan, Campion & Braverman, 2001; Van der Maesen, Born, Van Oudenhoven-Van der Zee & Ruhe, 2003) wordt een praktijkprobleem geschetst en een aantal oplossingen van dat probleem. SJT's worden in toenemende mate in bewegende beelden en geluid (multimediale vorm) gepresenteerd. De taak van de sollicitant bestaat uit het beoordelen van de effectiviteit van die oplossingen. Om de antwoorden te scoren worden die antwoorden vergeleken met de oordelen van ervaren mensen die een goede reputatie hebben op de gemeten vaardigheid. SJT's zijn "hot" in de VS omdat ze zeer valide blijken te zijn, omdat ze geaccepteerd worden als fair en interessant en omdat allochtone kandidaten minder scoreachterstand hebben op SJT's. Ook lijken SJT's geschikt om praktische en sociale intelligentie te benaderen.
Kom met uw praktijkervaringen op het terrein van managen en organiseren
Deel uw kennis, schrijf 3 columns of artikelen en ontvang een gratis pro-abonnement (twv €200)
Word een pro!
SCHRIJF MEE >>
Wel mis ik in de vergelijking de rol van de zo populaire 'assessment centers' waarvan, bij mijn weten, de voorspellende waarde ook extreem laag is. Wellicht kan de auteur hier nog iets over zeggen.
Ben benieuwd hoe mijn collega's hierop reageren.
In de zakelijke wereld is het belangrijk hoe je met je kennis en kunde omgaat, hoe je het overdraagt op jouw klanten, jopuw medewerkers, enz. Daardoor is competentiemanagement ontstaan en assesment centers. Testen geeft geen beter resultaat dan de indrukken van een persoonlijk gesprek, waarbij je op basis van vertrouwen mensen werft.
Wel ben ik het eens met de stelling dat de persoonlijkheidstest minder garantie geeft dan de intelligentietest.
Daarna begint het ontwikkelen van competenties, waarbij het cognitieve deel beter te ontwikkelen is dan het persoonsgebonden deel. Vooral in het begin van een carrière geeft het ontwikkelen van kennisgebieden meer resultaat dan het ontwikkelen van sociale, communicatieve, enz. vaardigheden.
Deze laatsten leveren echter wel meerwaarde op het gebied van flexibiliteit en mobiliteit, hetgeen in de huidige economische markt verlangd wordt.
In jouw reactie keer jij je tegen de kennis die in de wetenschap is vergaard over de voorspellende waarde van beoordelingsmethoden. Je hebt meer vertrouwen in de ervaring die je zelf bij het beoordelen van mensen hebt opgedaan. Dat is natuurlijk je goed recht. Of het verstandig is je van die kennis af te sluiten waag ik echter te betwijfelen.
Bij mijn weten is er geen recenter grootschalig onderzoek naar assessment centers dan dat van Gaugler, Rosenthal, Thornton en Benson (1987). Meta-analysis of assessment center validity. Journal of Applied Psychology, 72, 493-511. De kenners van de AC-literatuur moeten mij maar corrigeren als ik ernaast zit. De gemiddelde validiteit gevonden door Gaugler et al. bedroeg .37
Overbenutting van persoonlijkheidsvragenlijsten bij Competentiemanagement
bracht mij tot de volgende additionele overwegingen:
Vanzelfsprekend is intelligentie veruit de beste predictor van prestatie in een veelheid van organisatorische settings. Daarom zou je natuurlijk idealiter altijd getrapte selectie moeten doen met intelligentie als de eerste voorspeller. Intelligentie is daarmee een soort knock out criterium: daaraan mag het in elk geval niet ontbreken. Verder impliceert getrapte selectie dat een “geschikte” persoonlijkheid nooit echt compenserend kan werken voor een onvoldoende intelligentieniveau. De vraag is dan wat de meting van persoonlijkheid nog kan bijdragen aan de verhoging van de validiteit binnen de groep die intellectueel voldoende aan de maat is.
Paul van der Maesen citeert onderzoek van Hough en Furnham op dit punt. Mijn educated guess zou zijn dat een validiteit binnen die groep van .40 mogelijk zou moeten zijn onder een paar nadere condities:
· Specificeer een set van relevante criteria. Die kunnen van twee categorieën zijn:
o Bedoelde prestaties, te meten door performance indicatoren, b.v. omzet, ook wel in de literatuur “ultimate criteria” genoemd
o Benodigde competenties om die resultaten te kunnen bereiken, b.v. ondernemerschap, ook wel in de literatuur “intermediate criteria” genoemd.
· Laat expert beoordelaars voorspellingsgewichten koppelen aan facetten van elk van de bekende Big Five persoonlijkheidsfactoren, zoals bij voorbeeld gemeten in persoonlijkheidsvragenlijsten als de NEO of de daarop gebaseerde Work Place Big Five vragenlijst als ontwikkeld door PiMedia. Dus niet aan een hoofdfactor, die is daarvoor te globaal. Facetten zitten dichter bij wat in een competentie bedoeld wordt. Een voorbeeld: "Afleidbaarheid" en "Systematisch werken" zijn beide facetten van "Consciëntieusheid" (een van de hoofdfactoren uit de Big Five), maar ze hangen onderling maar beperkt samen. De competentie “Kwaliteitsgerichtheid” kan wellicht beter voorspeld worden uit “Afleidbaarheid” en “Organiseren en plannen” beter uit “Systematisch werken” (voorlopig is dit ook een educated guess, maar wel een toetsbare hypothese). Beide competenties zouden onder deze conditie slechter voorspeld worden uit Consciëntieusheid als overkoepelende factor. Moraal van het verhaal: gebruik persoonlijkheidsvragenlijsten die op facetniveau facetten van de Big Five meten, en doe dan specifieke voorspellingen op competenties op basis van facetscores, en niet op het niveau van de vijf hoofdfactoren. Een en ander komt er op neer dat intelligentie een veel hogere gegeneraliseerde validiteit heeft dan persoonlijkheid: intelligentie draagt aan alle prestaties wel min of meer bij, bij persoonlijkheid hangt het er maar van af over welke combinatie van persoonlijkheidsfacet en prestatie- of competentiecriterium het gaat.
· De laatste conditie is natuurlijk dat een persoonlijkheidsvragenlijst in deze context wel lang genoeg moet zijn om ook op facetniveau betrouwbaar te kunnen meten. Minimaal een vijftal items per facet lijkt een redelijke schatting wanneer het facet goed gedefinieerd is en een niet te breed domein beslaat. Maar natuurlijk, dit hangt van de empirie af. Betrouwbaarheid moet je in een concrete set gegevens berekenen.
Blijft staan, zoals Paul van der Maesen terecht constateert, dat een goede intelligentietest het leeuwendeel doet en een persoonlijkheidsvragenlijst hooguit een goede additionele tweede kan zijn. Hoe kan het dan dat al die HR mensen in de zaal waar Paul van der Maesen het over had, toch massaal de persoonlijkheidsvragenlijst als beste predictor aanwezen?
Even los van de overweging dat niet iedereen binnen HR de empirische literatuur rond de validiteit van intelligentie goed kent, kan hier een zelfselectie proces te hulp worden geroepen. We weten uit de onderzoeksliteratuur dat een proeftijd van een jaar ten naaste bij net zo’n goede voorspelling levert als een goede intelligentietest. Eerstgenoemde is natuurlijk wel aanmerkelijk duurder. Wanneer er aan het begin niet of niet goed op intelligentie getest wordt, vallen onderweg de minder intelligente wel af op basis van het feit dat intelligentie feitelijk wel een goede voorspeller is. Vervolgens zijn degenen aan de beurt waarvan het gewenste gedrag om competent te kunnen functioneren aanmerkelijk veel energie kost omdat het niet bij hun persoonlijkheid past. De organisatie realiseert dan alsnog de getrapte selectie in de praktijk die hierboven werd voorgesteld maar tegen aanmerkelijke kosten. HR professionals zijn net als iedereen gewone mensen en maken dan doorgaans de verkeerde voorwaardelijke redenering: als het buiten regent worden de straten nat, welnu het is nat op de stoep dus dan zal het wel geregend hebben. Ze kijken dus naar de karakteristieken van de goed functionerende medewerkers in plaats van naar de fractie goed functionerende medewerkers binnen de mensen met een gewenst persoonprofiel. Bij oververtegenwoordiging van dat profiel ten opzicht van de fractie goed functionerende mensen (wat onder de zelfselectiehypothese gemakkelijk kan optreden, zeker bij een homogene organisatiecultuur) zal persoonlijkheid in hun ogen een sterke voorspeller blijken.
Dus dat hoeft niet te verbazen. Het wijst des te meer op de noodzaak om wat er empirisch bekend is ook breed bekend te maken, en dan ook door zorgvuldige constructie en gebruik de persoonlijkheidsvragenlijst de bescheiden additionele plaats te geven die hij zeker verdient. Bij onzorgvuldige constructie of een te globaal voorspellingsmodel kun je het gebruik van zo’n lijst in een selectiecontext zonder veel verlies van voorspellingskracht net zo goed laten zolang je maar wel de intelligentie meet.
Nico Smid
Het zegt mij echter niets over hoe de aanpak is.
Mijn jarenlange ervaring met opdrachtgevers heeft mij geleerd dat, indien er sprake is van disfunctioneren, er geen twijfels worden geuit over intelligentie, maar over de persoonlijkheid in relatie tot de omgeving. Met andere woorden het succes van mensen is een resultante van opleiding, kennis, ervaring, motivatie, persoonlijkheid en omgeving.
Hte meten van intelligentie is zeker relevant, maar voorspelt mij nog niet genoeg over hun functioneren.
In de besproken onderzoeken zijn uitslagen op tests en vragenlijsten van vele duizenden personen in verband gebracht met beoordelingen van hun functioneren, meestal door leidinggevenden.
Het feit dat intelligentietests een hoge voorspellende waarde hebben voor beoordelingen door leidinggevenden geeft ook aan dat die leidinggevenden verschillen in cognitieve capaciteiten van medewerkers sterk meewegen in hun geschiktheidsbeoordelingen. Verdergaand onderzoek (onder andere door Bertram, Anderson & Salgado in de UK, bij 13.000 personen, gepresenteerd op een bijeenkomst van het GITP, 8 april 2003) toont aan dat de voorspellende waarde van intelligentietests toeneemt naarmate de cognitieve complexiteit van functies hoger is. Het omgaan met complexiteit is een kernvariabele in hogere functies en de intelligentietest is daarvoor een uitstekende voorspeller.
Ondanks deze resultaten is het goed mogelijk dat leidinggevenden succes en falen niet verklaren met intelligentie maar met persoonseigenschappen. Daarmee komen we op het punt van de heer Ten Doesschate. Misschien wijten leidinggevenden slechte prestaties aan een tekort aan initiatief, zelfstandigheid of doorzettingsvermogen, terwijl intelligentie de ware oorzaak is.
Niettemin ben ik het helemaal met de heer Ten Doesschate eens dat intelligentie niet alles is. Er is bijvoorbeeld evidentie dat succes in veel soorten werk (vooral in hogere functies) een kwestie is van analytische intelligentie (IQ) én van sociale intelligentie (SQ), een deelgebied, zo men wil, van emotionele intelligentie. SQ is van belang bij het omgaan met collega’s, leidinggevenden en klanten, bij het aangaan en onderhouden van contacten, bij het beïnvloeden van anderen om doelen te realiseren en om conflicten op te lossen. De interactie van IQ en SQ is bovendien multiplicatief Succes = IQXSQ. Het is echter zeer de vraag of de persoonlijkheidsvragenlijst de beste methode is om een kenmerk (set van competenties) als SQ te meten. Ik zelf houd het erop dat SQ het beste met een multimedia prestatietest (situationele beoordelingstest) benaderd kan worden.
Er is een soort aversie tegen intelligentiemetingen, omdat niemand voor "dom" versleten wil worden. Intelligentie is een relatief onwrikbaar en goed te meten attribuut, waarop scherp gediscrimineerd kan worden. Begin jaren zeventig kreeg Prof. A.D. de Groot in Amsterdam tomaten naar zijn hoofd, omdat hij stelde dat intelligentie aangeboren is. Dit paste niet in het toen heersende ideaalbeeld in linkse studentenkringen van de selectievrije klassenloze maatschappij.
Dat managers en adviseurs vaak kiezen voor persoonlijkheidstests kan naar mijn mening verklaard worden doordat de persoonlijkheid inderdaad belangrijker is voor succes dan intelligentie. Alleen lukt het niet goed om de persoonlijkheid in kaart te brengen, zeker niet als de persoon belang heeft bij bepaalde uitslagen. Vandaar dat persoonlijkheidstests slechter voorspellen dan intelligentietests.
Er is nog een derde factor die mogelijk nog belangrijker is dan persoonlijkheid en intelligentie, nl. motivatie. Uit recent onderzoek in het hoger onderwijs blijkt herhaaldelijk dat de motivatie studiesucces het best voorspelt. Het gaat daarbij niet zo zeer om de kracht van de motivatie maar om de kwaliteit ervan. Mensen die echt geinteresseerd zijn en warm lopen voor hun studie en werk zijn het best in staat om belemmeringen te overwinnen en competentie te ontwikkelen.
Ik onderken dat, welke test dan ook, gekleurd kan raken door de manier van invullen en de positie van je linker en rechterbeen op het moment dat het bed wordt uitgestapt.
De IQ test geeft een resultaat dat door slimme vragen en de antwoorden wordt samengesteld. Dat een studie over assessments in 1987 is afgerond en niet herzien is geeft mij te denken.
Is de betrouwbaarheid van deze testen dan zo laag?
Natuurlijk heeft Paul van der Maesen gelijk met zijn "overbenutting van persoonlijkheidsvragenlijsten". Dergelijke - zelfbeschrijvende - instrumenten hebben een (predictieve) validiteit van maximaal 0.25, voornamelijk gebaseerd op US-based onderzoek. Over de superioriteit van capaciteitentests heb ik echter OOK twijfels. Dit komt voornamelijk doordat niemand weet wat "intelligentie" precies is en nog minder of de huidige tests dit "job relevant" meten. In het algemeen zal het zo zijn dat mensen die hoger scoren op een capaciteitentest, het wat beter doen in de functie. Dat neemt niet weg dat een specifiek geconstrueerd "work sample" of arbeidsproef het vaak beter doet dan een capaciteitentest. Ikzelf heb diverse worksamples gemaakt en het voorspellend vermogen is - ook in een specifieke nederlandse situatie - niet slecht (www.psytech.nl).
Mijn mening over Assessment Centers komt een andere keer.
Voor het gemak van de lezer bundel ik enkele opmerkingen naar aanleiding van die reacties in één bericht.
- Nico Smid adviseert om big five persoonlijkheidsdimensies uit te splitsen in facetscores om de voorspellende kracht van een vragenlijst te verhogen. Ik denk dat dit inderdaad kan helpen. Er is ook empirische steun geleverd voor het splitsen van twee big five dimensies, namelijk “Extraversie” in deeldimensies “Sociabiliteit” en “Sociale invloed” en van “Consciëntieusheid” in deeldimensies “Prestatiemotivatie” en “Gewetensvolheid”. Bij het opsplitsen ligt het gevaar van onbetrouwbaarheid op de loer, bij slechts vijf vragen per facet kom je volgens mij juist daarmee in de problemen.
Een methode die ook te overwegen is, is het toevoegen van functierelevante modules aan de vragenlijst, bijvoorbeeld een extra module voor facet “Sociale invloed” als het gaat om (aspirant) managers.
- Jan van Weeren noemt een belangrijk argument om intelligentietests niet te gebruiken, namelijk het risico om er “dom” uit te komen en daar niets (meer) aan te kunnen doen. Van de associatie met onwrikbaarheid heeft de competentiebenadering geen last en dat verklaart ook voor een deel het (commerciële) succes van die benadering. Ook de succesvolle opkomst van de eigenschap “emotionele intelligentie” is te beschouwen als tegenreactie op de beklemmende boodschap uit de Bell Curve (Hernstein & Murray, 1994), dat analytische intelligentie in sterke mate verantwoordelijk is voor succes en falen in studie, werk en daarbuiten (zie Matthews, Zeidner, Roberts, 2002: Emotional Intelligence: Science or Mythe, Cambridge, Mass: A Bradford Book).
- Tom Luken veronderstelt dat persoonlijkheid wel eens écht belangrijker zou kunnen zijn dan intelligentie, maar dat het ligt aan de ondeugdelijkheid van de meetinstrumenten dat dit niet tot uiting komt. Ook Frank Dotman lijkt dit standpunt in te nemen. Ik denk dat Luken en Doitman een overtuiging (of impliciete theorie) verwoorden die velen erop nahouden. Steun vanuit de wetenschap is voor die overtuiging echter (nog) niet aanwezig.
- Paul Vriend komt terug op het assessment center. Het toeval wil dat onlangs een meta-analytische studie naar het AC is verschenen: Arthur, Day, McNelly & Eden, 2003, in Personnel Psychology, 56, pp 125-154. Eerst zochten deze auteurs naar de dimensies waarover in de meeste AC’s uitspraken worden gedaan. Door uitslagen op de best voorspellende dimensies optimaal te wegen werd een predictieve validiteit van .45 bereikt (tegenover .37 van Gaugler et al., 1987). Opvallend is wel dat de dimensie “Probleemoplossen” de best voorspellende dimensie in AC’s is. En probleemoplossen in het AC wordt naar alle waarschijnlijkheid goed voorspeld door … een intelligentietest.
- Wouter Schoonman heeft zijn twijfels over de intelligentietest. De functierelevantie zou niet groot zijn. Ik zou juist beweren dat de relevantie op geen betere manier dan met een hoge predictieve validiteit is aan te tonen. Een tweede opmerking van Wouter is dat niemand weet wat intelligentie is. Volgens mij heeft hij geen gelijk, er is in toenemende mate consensus in de wetenschap over wat intelligentie is. Er wordt zeer veel onderzoek verricht om het drie-lagenmodel van intelligentie dat sinds 1993 door John Carroll is voorgesteld te verfijnen en verder te verankeren. Wouter Schoonman beveelt arbeidsproeven aan als alternatief instrument. Inderdaad hebben arbeidsproeven een met intelligentietests vergelijkbare validiteit. Nadeel van arbeidsproeven zijn de hoge ontwikkelkosten en de vaak beperkte bruikbaarheid, dus hoge afschrijvingskosten, ervan. Het zijn immers op maat van de functietaken ontworpen tools. Intelligentietests hebben juist een hoge validiteit die generaliseerbaar is over functies.
Paul van der Maesen