Het is maandagochtend en uw MT bespreekt het dashboard. De levertijd staat op groen, al drie maanden. Vorige maand verdedigde u dat cijfer nog. Dan belt een klant. Zijn order staat al twee weken klaar en is nooit verzonden.

Het dashboard loog niet.

Veel dashboards melden hun stand in een kleur: groen, oranje of rood. Wat die kleuren waard zijn, leerde ik door mijn eigen controles te wantrouwen.

Het gesprek vóór het KPI-gesprek

Hier op ManagementSite schreven twee auteurs eerder scherp over KPI's. In Het failliet van de KPI beschreef Roy van den Anker hoe een indicator ongemerkt verandert in een doel. Sybren van der Schaar sloot zijn stuk over de KPI-bril af met een opdracht voor het MT-overleg. "Open met één groene KPI die u eigenlijk niet meer vertrouwt."

Een goede opdracht. Alleen: hoe weet u welke groene KPI dat is?

Beide stukken gaan over wat u meet en wat dat met gedrag doet. Ik begin een stap eerder. Klopt de meting zelf? Een KPI kan de goede vraag stellen en toch een verkeerd antwoord geven. Dan bespreekt het MT een getal dat nooit iets bewees.

Groen op het dashboard betekent vaak: het is gedraaid

Veel controles kennen in feite twee toestanden. Ze draaiden of ze liepen vast. Groen betekent dan dat het rapport er is. Over de inhoud zegt het niets.

Rood kan net zo leeg zijn. Denk aan een tegel die rood staat sinds de overstap naar een nieuw pakket. Iedereen weet waarom. Niemand kijkt er nog naar. Wie aan rood went, leest het niet meer. Dan heeft u twee kleuren en geen signaal.

De verleiding is dan een tegel erbij die het verklaart. Zo groeit een dashboard tot niemand meer weet welke tegel ooit rood kan worden. Een extra tegel maakt de meting zelf niet betrouwbaarder.

• Eerste vraag:
  wat moet er gebeuren om dit cijfer rood te maken?
  Kan niemand dat in één zin zeggen, dan weet ook niemand wat groen betekent. Neem de levertijd uit de opening. Welke orders telt dat cijfer eigenlijk mee?
  
  Een controle die nooit rood was, heeft niets bewezen
  Deze les heeft mij het meest opgeleverd. Hoe weet ik of een controle werkt? Door hem bewust te laten falen.
  
  Bij een nieuwe controle bouw ik eerst de fout na die hij moet vinden. Voor een back-upcontrole haalde ik zelf twee regels uit een kopie. De controle moest rood worden. Dat werd hij ook. Was hij groen gebleven, dan had ik een geruststelling gebouwd.
  
  Met een KPI kan dat ook. Neem een maand waarvan iedereen weet dat die slecht ging. Een grote klant liep weg of een leverancier leverde weken te laat. Laat die maand in het dashboard zien wat u verwacht? Zo niet, dan lost geen enkele vergadering dat op.
  
  
• Tweede vraag:
  is dit cijfer ooit rood geweest toen het rood had moeten zijn?
  Meet uw KPI twee keer zonder dat er iets verandert
  Van den Anker noemde een klanttevredenheid van 8,2 als voorbeeld van een schijnbaar harde grens. Weet u hoeveel die score schommelt in een maand waarin er niets gebeurt? Is dat een tiende of een halve punt? Van 8,2 naar 8,0 is dan nieuws of niets.
  
  Daarom toets ik een meter eerst op zichzelf. Ik laat hem twee keer draaien terwijl er niets verandert. Verschillen die dan al opduiken, zijn ruis van de meting zelf. Pas als die controle schoon is, vertrouw ik een voor-en-na.
  
  Die gewoonte komt van een verbouwing aan een applicatie. Mijn meting vond honderdtwintig onderdelen op het scherm die veranderd leken. Twee keer meten zonder iets aan de applicatie te veranderen gaf er ruim zesduizend. De meetopstelling maakte zelf ruis.
  
  
• Derde vraag:
  hoeveel beweegt dit cijfer als er niets gebeurt?
  Tegen welk moment vergelijkt uw rapportage?
  Cijfers in een managementrapportage kunnen uit elkaar lopen door het moment van meten. De omzet komt uit een export van de laatste werkdag, de uren uit een export van een week later. Of het ene pakket rekent in periodes van vier weken en het andere in kalendermaanden. De cijfers lopen dan zelden gelijk. Elk cijfer klopt op zich. Toch spreken ze elkaar tegen. Het MT bespreekt een verschil dat alleen in de meetmomenten zit.
  
  Ik liep er zelf tegenaan bij een back-upcontrole. Die meldde op een avond dat de inhoud afweek. Was er iets kwijt? Of had iemand na de back-up gewoon doorgewerkt? De melding zei het niet. De controle legde de back-up namelijk naast de administratie van drie kwartier later. Een echte fout zou precies hetzelfde signaal geven als die avond doorwerken.
  
  De les was eenvoudig. Vergelijk met de stand van het moment zelf. Klopt de back-up met die stand, dan is het verschil met vandaag een mededeling. Wijkt hij af, dan is de back-up niet te vertrouwen.
  
  
• Vierde vraag:
  welke momenten legt dit cijfer naast elkaar?
  Na de verbetering: dezelfde meting
  De laatste val is de verraderlijkste, omdat hij voelt als vooruitgang. Het medewerkersonderzoek toont een probleem. Er volgt een verbetertraject. Een jaar later meet een ander bureau met andere vragen. Het cijfer is hoger en niemand weet of er iets veranderd is.
  
  Ik houd daarom één regel aan. Een probleem is pas opgelost als de meting die het aantoonde, nu schoon is. Een andere meting telt niet, een steekproef evenmin. Tot die tijd heet het aangepast.
  
  
• Vijfde vraag:
  is na de verbetering dezelfde meting gedaan als ervoor?
  Terug naar maandagochtend
  Pak de groene KPI waar u het meest op leunt. Leg er de vijf vragen naast.
  
  1. Wat moet er gebeuren om dit cijfer rood te maken?
  2. Is het ooit rood geweest toen het rood had moeten zijn?
  3. Hoeveel beweegt het als er niets gebeurt?
  4. Welke momenten legt het naast elkaar?
  5. Is na de laatste verbetering dezelfde meting gedaan als ervoor?

Volgende maandag ligt het dashboard weer op tafel. Misschien staat de levertijd nog op groen. Misschien een ander vlak waar u al maanden niet naar kijkt. Stel er deze vragen over voordat een klant het voor u doet.

Stefan Colin bouwt onder de naam Achter de Schermen software, koppelingen en rapportages voor het mkb.