Opleiding: ISTQB® Certified Tester AI Testing v2.0 (CT-AI)

Basisgegevens

• Naam: ISTQB® Certified Tester AI Testing
• Afkorting: CT-AI
• Versie: 2.0
• Niveau: ISTQB Specialist
• Trainingsvorm: klassikaal
• Logische klassikale duur: 3 dagen
• Minimale officiële lestijd: 19,5 uur
• Voorwaarde voor examen: geldig ISTQB® Certified Tester Foundation Level certificaat
• Certificering: ISTQB® Certified Tester AI Testing v2.0

CT-AI v2.0 is de actuele versie van de ISTQB-certificering voor het testen van AI-gebaseerde systemen. De opleiding behandelt zowel machine learning als generatieve AI en large language models. De nadruk ligt op de specifieke uitdagingen die ontstaan doordat AI-systemen onder andere probabilistisch, niet-deterministisch en sterk afhankelijk van data kunnen zijn.

Een belangrijk verschil met CT-AI v1.0 is dat versie 2.0 volledig is gericht op testing of AI. Het gebruik van AI om het testproces te ondersteunen is uit deze opleiding gehaald en valt nu onder ISTQB CT-GenAI.

Over de training

AI-systemen gedragen zich anders dan traditionele softwaresystemen. Een klassieke test met een vaste input en één voorspelbare output is daardoor niet altijd voldoende.

Tijdens de ISTQB CT-AI v2.0 training leer je hoe je AI-gebaseerde systemen systematisch kunt beoordelen en testen. Daarbij kijken we naar de volledige machine learning lifecycle: van de kwaliteit van inputdata en het trainen van modellen tot model testing en deployment.

Naast de theorie bevat versie 2.0 nadrukkelijk praktische oefeningen. Deelnemers werken onder andere met machine learning workflows, data preparation, performance metrics en specifieke technieken voor het testen van AI-systemen.

Voor wie is deze training?

De training is met name geschikt voor:

• software testers
• test analysts en test engineers
• test managers en test leads
• test consultants
• software developers die met AI-systemen werken
• data analysts
• data scientists
• user acceptance testers

De opleiding is daarnaast interessant voor professionals die AI-systemen moeten beoordelen of er verantwoordelijkheid voor dragen, zoals quality managers, projectmanagers, business analysts en development managers.

Voorkennis

Voor het officiële CT-AI examen is het ISTQB Certified Tester Foundation Level certificaat verplicht.

Voorafgaande diepgaande kennis van artificial intelligence of machine learning is niet noodzakelijk. De syllabus introduceert de belangrijkste AI- en machine-learningconcepten voordat de testaanpak wordt behandeld.

ISTQB adviseert wel enige ervaring met softwareontwikkeling of softwaretesten, bijvoorbeeld circa zes maanden ervaring als tester, data scientist of software developer.

Wat leer je?

Na deze training kun je onder andere:

• verschillen herkennen tussen traditionele en AI-gebaseerde systemen
• de belangrijkste vormen van AI en machine learning uitleggen
• generatieve AI en large language models in de context van softwarekwaliteit beoordelen
• specifieke kwaliteitskenmerken van AI-systemen herkennen
• acceptance criteria voor AI-systemen formuleren
• de kwaliteit van training-, validation- en testdata beoordelen
• ML performance metrics berekenen en interpreteren
• eenvoudige neurale netwerken begrijpen en testen
• een passende teststrategie voor een machine learning systeem opstellen
• inputdata van machine learning systemen testen
• machine learning modellen systematisch testen
• technieken als metamorphic testing, adversarial testing, A/B testing en drift testing toepassen
• GenAI- en LLM-systemen testen
• red teaming inzetten bij generatieve AI
• risico's tijdens ontwikkeling en deployment van ML-systemen beoordelen

De officiële Business Outcomes leggen daarbij nadruk op het ontwerpen en uitvoeren van tests voor machine learning systemen en het bijdragen aan een effectieve AI-teststrategie.

Programma

De officiële syllabus bestaat uit zeven hoofdstukken.

1. Introduction to Artificial Intelligence

Je krijgt eerst een basis in AI zodat duidelijk is wat er precies getest moet worden.

Onderwerpen zijn onder andere:

• verschil tussen conventionele software en AI-systemen
• Narrow AI, General AI en Super AI
• machine learning en deep learning
• generatieve AI
• large language models
• hardware en hosting van AI-modellen
• machine learning development frameworks
• relevante regelgeving en standaarden voor AI

Ook moderne ontwikkelingen zoals pretrained models, GenAI en de bredere AI-technologieën worden in de opleiding geplaatst.

2. Quality Characteristics for AI-Based Systems

Hier staat de vraag centraal: wanneer is een AI-systeem eigenlijk van voldoende kwaliteit?

Onder andere:

• AI-specifieke kwaliteitskenmerken
• ISO/IEC 25059
• robustness
• explainability
• functional correctness
• adaptability
• safety-gerelateerde aspecten
• acceptance criteria voor AI-systemen

3. Machine Learning

Dit is het grootste inhoudelijke onderdeel van de opleiding.

Je behandelt onder andere:

• supervised learning
• unsupervised learning
• reinforcement learning
• machine learning workflow
• training-, validation- en testdatasets
• data preparation
• pretrained models
• fine-tuning
• Retrieval-Augmented Generation, RAG
• classification
• confusion matrix
• accuracy, precision, recall en F1-score
• neurale netwerken
• coverage van neural networks

Dit hoofdstuk bevat ook hands-on oefeningen waarbij deelnemers daadwerkelijk met een machine learning model en performance metrics werken.

4. Testing AI-Based Systems

Hier verschuift de focus volledig naar het testen.

Onderwerpen:

• locked versus adaptive AI-systemen
• waarom statistische testbenaderingen nodig kunnen zijn
• het test oracle problem bij AI
• teststrategie voor AI-systemen
• risk-based testing
• test levels voor machine learning systemen
• testen van generatieve AI
• testen van large language models
• exploratory testing
• red teaming

Versie 2.0 heeft expliciete aandacht voor het testen van GenAI en LLM's.

5. Input Data Testing for Machine Learning Systems

Bij een machine learning systeem bepaalt de kwaliteit van de data voor een belangrijk deel de kwaliteit van het model.

Je leert onder andere testen op:

• data bias
• representativeness
• correcte labels
• dataset constraints
• data quality
• data pipelines
• verdeling en geschiktheid van datasets

De syllabus bevat hierbij ook praktische oefeningen.

6. Model Testing for Machine Learning Systems

Dit hoofdstuk behandelt specifieke technieken voor het testen van ML-modellen.

Onder andere:

• ML model risks
• model documentation en reviews
• functional performance testing
• adversarial testing
• metamorphic testing
• drift testing
• data drift en concept drift
• overfitting en underfitting
• A/B testing
• back-to-back testing

Metamorphic testing is hierbij bijzonder relevant wanneer geen eenvoudig test oracle beschikbaar is.

7. Machine Learning Development Testing

Tot slot wordt gekeken naar risico's die niet alleen in het model zitten, maar ook in de ontwikkeling en deployment eromheen.

Onderwerpen zijn onder andere:

• ML development risks
• gebruikte frameworks en libraries
• API testing
• deployment testing
• smoke testing
• shadow testing
• compatibility met de operationele omgeving
• monitoring van het gedrag na deployment