Opleiding: Deploying and fine-tuning open source LLMs

Deploy en fine-tune open-source LLM's als Llama en Mistral op eigen infrastructuur met vLLM, Ollama en LoRA.

Niet elk AI-project kan of mag draaien op commerciële API's. Regulering, latency-eisen, kosten of datasoevereiniteit zijn redenen om open-source modellen zelf te hosten. In deze training leer je modellen als Llama en Mistral draaien met inference-frameworks vLLM en Ollama, en hoe je ze met LoRA fine-tunet op je eigen data. Je sluit af met een deployment op je eigen infrastructuur.
Deze training is bedoeld voor software, ML- en platform engineers die open-source LLM's willen draaien en fine-tunen op eigen of cloud-infrastructuur. Werk je in een Microsoft/.NET-omgeving en wil je AI-agents bouwen in C#? Bekijk dan de gerelateerde trainingen.
- Operate inference frameworks (vLLM, Ollama) to deploy open source LLMs on your own infrastructure [Apply]
- Customize a base LLM for domain-specific tasks using LoRA and QLoRA fine-tuning [Apply]
- Compare model formats and quantization strategies (FP16, GPTQ, AWQ, GGUF) for inference [Understand]
- Distinguish when to use fine-tuning, RAG, or prompt engineering for a given use case [Understand]
- Evaluate which open source model and deployment strategy best fits the quality, latency, cost, and compliance requirements of you…