De prompt engineer en annotator

Om de technieken achter de razend populaire kunstmatige intelligente chatbot ChatGPT beter te kunnen begrijpen waren er op 3 april (in Leiden bij De Clercq advocaten) en 13 april 2023 (webinar) de KNVI en de Vri bijeenkomsten. De KNVI en Vri zijn (beroeps)verenigingen van en voor professionals die werken in de digitalisering. Beide verenigingen stimuleren actieve kennisontwikkeling o.a. door ontmoetingen. De Vri beheert tevens het register van gecertificeerde informatici. Borging van kwaliteit en ethiek zijn belangrijke speerpunten voor certificering. Vanwege de grote invloed op maatschappelijk welzijn en duurzaamheid van digitalisering pleit de Vri voor meer gecertificeerde professionals.

Centraal bij beide bijeenkomsten in april stond de presentatie van Piek Vossen over technieken achter ChatGPT. Piek is hoogleraar aan de Vrije Universiteit van Amsterdam en expert op het gebied van Large Language Modellen (LLM), een van de technieken waarop ChatGPT is gebaseerd. Volgens ChatGPT: “Een large language model gebruikt statistiek om te voorspellen welke woorden het meest waarschijnlijk in een bepaalde context worden gebruikt. Dit wordt gedaan door middel van een taalmodel, dat een schatting maakt van de kans dat een bepaalde zin of woordcombinatie voorkomt in een bepaalde taal. Door statistische analyse te gebruiken, kan een large language model de waarschijnlijkheid van verschillende woorden in verschillende contexten schatten en op die manier een betekenisvolle en natuurlijk klinkende zin produceren.” Dit vermogen noemt men het generatieve aspect van LLM’s.

In zijn presentatie verwijst Piek ook naar een aantal (voor de meeste mensen) nieuwe beroepen zoals de prompt engineer en annotator. Bouwers van kunstmatig intelligente systemen zoals ChatGPT zorgen voor een grote maatschappelijke impact is de verwachting. “300 miljoen banen worden geraakt” en de arbeidsmarkt wordt hierdoor “op zijn kop gezet” melden media zoals het fd.

Wat doen een prompt engineer en annotator eigenlijk? Opnieuw ChatGPT: “Een prompt engineer is verantwoordelijk voor het bedenken en optimaliseren van prompts binnen een LLM, zodat het LLM betere resultaten kan genereren op specifieke taken.” Voorbeelden van prompts (specifieke taken) zijn: vragen stellen; opdrachten geven; instructies geven en specifieke informatie opvragen. “Deze prompts kunnen worden gebruikt in verschillende contexten en kunnen dienen als uitgangspunt voor het genereren van tekst of het uitvoeren van taken binnen een LLM. Het is belangrijk dat de prompts goed zijn geformuleerd, zodat het LLM de juiste input ontvangt en de gewenste output kan genereren.”

Een andere functie is die van (data) annotator. ChatGPT zelf geeft wederom uitleg: “Data annotatie heeft raakvlakken met ethiek omdat de kwaliteit en nauwkeurigheid van de geannoteerde gegevens van invloed zijn op de prestaties van het machine learning-model. Als de gegevens vertekend, bevooroordeeld of onvolledig zijn, kan het model onnauwkeurige resultaten opleveren en kan dit leiden tot onbedoelde gevolgen of discriminatie. Bij het annoteren van gegevens is het belangrijk om aandacht te besteden aan de kwaliteit van de gegevens en om de privacy en veiligheid van de gegevens te waarborgen. Het is belangrijk om ervoor te zorgen dat de annotatie van gegevens ethisch verantwoord is en rekening houdt met de mogelijke impact van de technologie op de samenleving en individuele gebruikers.” Volgens de presentatie van Piek (slide 25) werken ongeveer 40 annotators aan ChatGPT. Zij bepalen in feite wat goed of slecht, geoorloofd en niet-geoorloofd is bij de output van ChatGPT. 40 mensen die voor meer dan 100 miljoen gebruikers (april 2023) dicteren wat ethisch verantwoord is, wat mag en niet mag, wat bijvoorbeeld discriminatie is en wat niet!

Andere beroepen die door de ontwikkelingen van LLM’s en kunstmatige intelligentie in belang toenemen zijn Natural Language Processing experts. Deze zijn gespecialiseerd in de technologie die wordt gebruikt om LLM's te ontwikkelen en te verbeteren. AI trainers zijn verantwoordelijk voor het trainen van LLM's, zodat ze optimaal kunnen presteren bij specifieke taken. AI onderzoekers doen onderzoek naar nieuwe technieken om de nauwkeurigheid en efficiëntie van LLM's te verbeteren, en werken aan het oplossen van problemen zoals vooroordelen en beperkte context begrip. Vertalers zijn nodig om de door LLM gegeneerde vertalingen te controleren en te corrigeren om een hogere kwaliteit te garanderen. Deze laatste alinea tekst is ook voor een groot deel door ChatGPT zelf gegenereerd.