Opleiding: Large Language Models Bouwen
De cursus Large Language Models Bouwen van SpiralTrain leert je hoe je met PyTorch en modern tooling transformer-based LLMs ontwerpt, traint, fine-tuned en deployed.
Intro cursus Large Language Models Bouwen
De cursus Large Language Models Bouwen biedt een uitgebreide introductie in wat LLM’s zijn en waar ze worden ingezet. We bespreken de lifecycle van het bouwen van modellen versus het gebruiken ervan. Daarnaast introduceren we de Transformer/GPT-architectuur en hoe deze modellen leren van grote datasets. Ook wordt bekeken wanneer je klassieke QA gebruikt in plaats van RAG.
Werken met Tekstdata
In deze module leer je hoe je ruwe tekst omzet naar modelklare tensors door middel van tokenization, token→ID mapping, speciale/contexttokens en sliding-window sampling. We behandelen ook embeddings en positional encodings en hoe om te gaan met onbekende woorden in de data.
Attention-mechanisme
Deze module demystificeert het self-attention mechanisme voor long-sequence modeling. Je leert over queries, keys, values en causal masking om toekomstige tokens te verbergen. We voegen positional encoding en multi-head attention toe om afhankelijkheden in de input op te vangen.
PyTorch Deep Learning
In deze module behandelen we de basisprincipes van PyTorch, waaronder tensors en training loops.
