Welke vraag stelde de AI bij KPMG die een ervaren accountant/auditor graag zelf had bedacht? Dat is wat ik wilde weten na het lezen van de Financial Times. KPMG zette ruim honderd AI-agenten in bij de jaarrekeningcontrole van een Britse beursgenoteerde onderneming. Volgens Cath Burnet, hoofd Audit bij KPMG in het Verenigd Koninkrijk, gingen de agenten op sommige kwesties dieper in en stelden ze soms betere vragen dan het reguliere controleteam. De vraag die dat het beste illustreert, krijgen we als lezer helaas niet te zien.
Juist die ene vraag zou ik naast het antwoord willen leggen. Bracht ze een risico aan het licht dat de auditors over het hoofd hadden gezien? Vroeg iemand daardoor een document op dat anders in de kast was blijven liggen? Of ontstond er vooral meer uitzoekwerk? Alle drie zijn mogelijk. Voor wie over de inzet van AI beslist, telt het verschil.
De proef liep parallel aan de reguliere audit, waarop KPMG de officiële controleverklaring baseerde. Over één moment is de berichtgeving wél concreet. Een agent slaagde er niet in relevante regelgeving aan de bedrijfsdocumenten te koppelen. Een auditor moest ingrijpen. Daar zou ik als werkgever op doorvragen. Waaraan merkte die collega dat er iets ontbrak? En zou een junior die hetzelfde dossier voor zich kreeg dat ook hebben gezien?
Zou GPT‑6.2 die vraag wél stellen?
De dag vóór het FT-bericht introduceerde OpenAI GPT‑6.2. Op een eigen benchmark voor complexe professionele opdrachten scoorde GPT‑6.2 Astra 6,2 procentpunt hoger dan GPT‑6 Astra. Dat maakt me nieuwsgierig naar wat het nieuwe model in het KPMG-dossier zou opmerken. De benchmark beoordeelt de uitvoering van opdrachten. Of GPT‑6.2 in deze audit uit zichzelf precies die ene ontbrekende vraag zou stellen, is een open vraag.
Wat zijn GPT‑6.2 Astra en GPT‑6.2 Sol?
Astra en Sol zijn twee AI-modellen van OpenAI binnen de GPT‑6.2-familie. Sol is bedoeld voor dagelijks kenniswerk, zoals een overleg samenvatten of een conceptmail schrijven. Astra is ontwikkeld voor complexere opdrachten, zoals financiële gegevens uit meerdere documenten combineren en de aannames achter een investeringsvoorstel onderzoeken. OpenAI
De 6,2 procentpunt uit deze bijdrage is de vooruitgang van GPT‑6.2 Astra ten opzichte van GPT‑6 Astra op OpenAI’s eigen test voor professionele opdrachten. Of Astra bij de KPMG-controle uit zichzelf een beslissende vervolgvraag zou hebben gesteld, blijft open.
Van de controletafel naar de roostertafel
Stel dat je in een managementvergadering zit. Op het scherm staat een voorstel om de vrijdagbezetting te verlagen. Tien medewerkers besparen dankzij AI ieder een halfuur per vrijdag. Vijf uur per week, 46 werkweken per jaar. Wie in de DFI Return on Intelligence Calculator rekent met €55 per uur, komt uit op €12.650 aan potentiële capaciteitswaarde per jaar.
Dan vraagt een collega uit de uitvoering: ‘Kun je me in het rooster laten zien welke dienst we daardoor kunnen missen?’
De planner opent het vrijdagrooster. De halve uren vallen verspreid over de dag. Om vier uur staan er nog evenveel mensen aan de balie en zijn alle drie de collega’s nodig. De berekening klopt. Het voorstel om een dienst te schrappen gaat terug naar de tekentafel.
Op dat moment zou ik de calculator er opnieuw bij pakken. Bij benuttingsgraad moet het MT namelijk zelf een aanname doen. Stel dat collega’s van die vijf uur samen twee uur kunnen gebruiken om klanten terug te bellen die nu tot maandag wachten. Dan kun je een benutting van 40% onderbouwen, goed voor €5.060 aan inzetbare capaciteit per jaar. De loonkosten blijven gelijk. Of klanten er werkelijk iets van merken, kun je de volgende vrijdag al nagaan: hoeveel van hen zijn vóór het weekend teruggebeld?
Dat is de Micro-Uur Paradox in één vrijdagrooster. En hier komt GPT‑6.2 weer aan tafel. Stel dat het model bij die €12.650 uit zichzelf vraagt: ‘Mag ik het rooster én de terugbellijst zien?’ Dan zou ik dat een betere vraag noemen. Je kunt precies aanwijzen welke informatie daardoor op tafel komt, welk personeelsbesluit verandert en wat je vrijdag wilt toetsen.
Hoe leert een professional zo kijken?
Neem als manager eens een afgerond dossier mee waarin één laat ontdekt feit het besluit veranderde. Geef een junior, een ervaren collega en GPT‑6.2 alleen de informatie die destijds op tafel lag. Laat ieder eerst zelfstandig drie vragen opschrijven. Leg die naast elkaar vóór iemand de afloop kent. Welke vraag had dat feit boven water kunnen krijgen? Wie wist ook welk document je daarvoor moest openen of welke collega je moest bellen?
Vooral de toelichting van de ervaren collega zou ik willen horen. ‘Ik vroeg naar het rooster omdat ik op vrijdag zelf aan die balie heb gestaan.’ In zo’n zin hoor je waar een goede vraag vandaan komt. En een starter ontdekt welke ervaring er achter een ogenschijnlijk eenvoudige vraag kan schuilgaan.
Voor de volgende managementvergadering zou ik daarom één plek op de agenda vrijhouden. Direct na het AI-advies, vlak vóór het besluit: wat zouden we eerst zelf willen zien waardoor we alsnog van gedachten kunnen veranderen?
Op 30 november 2022 verscheen ChatGPT, gebaseerd op GPT-3.5.
Misschien liet je het die week een lastige mail herschrijven. Een student die dat najaar aan een hbo-bachelor begon, heeft inmiddels tijd gehad om een heel vak te leren. Jij zat diezelfde vier jaar op je werk. Je functietitel is misschien nog precies dezelfde. Zou je vandaag met de functieomschrijving van toen uit de voeten kunnen? OpenAI
De spanning zit in het tempo. In de 4 jr tijd die voor een student was ingeruimd voor colleges, stages en een afstudeeropdracht, ben jij van GPT-3.5 naar GPT-6.2 gegaan. Tussen twee vergaderingen door. Met Astra en Sol kun je inmiddels een reeks werkzaamheden delegeren die je in 2022 zelf aan elkaar moest knopen.
Dat merk je zodra er iemand aan je bureau staat die een besluit moet nemen.
Gerelateerde artikelen
Van AI-consultancy tot Personeelsreductie: wat leveren AI-investeringen werkelijk op?
Willem E.A.J. Scheepers
Deel uw ervaringen op ManagementSite
Wij zijn altijd op zoek naar ervaringen uit de praktijk, wat werkt wel, wat niet.
SCHRIJF MEE
Als u 3 of meer artikelen per jaar schrijft, ontvangt u een gratis pro-abonnement twv €200,--