Under The Hood

Penjelasan visual dan konseptual tentang transformer, attention, KV cache, tokenisasi, dan RAG.

Tonton video pertama Kanal YouTube

Putar video pertama

Hasil belajar

Pahami cara kerja LLM. Lihat secara visual bagaimana model memprediksi kata berikutnya, token demi token.
Pelajari arsitektur transformer. Telusuri token embedding, position encoding, attention, dan decoder dari Attention Is All You Need.
Siapkan data dan tokenisasi. Pahami pembersihan data Common Crawl dan cara kerja byte pair encoding.
Percepat inferensi dengan KV cache. Pahami cara MQA dan GQA mengurangi kebutuhan memori GPU.
Bangun chatbot dengan RAG. Ubah dokumen menjadi embedding, simpan di vector store, lalu sisipkan ke prompt.

Skill di kanal ini

LLM
Transformer
Attention
Tokenisasi
Byte pair encoding
KV cache
Grouped query attention
Temperature
Sampling
RAG

Video pilihan

1How Attention Mechanism Works in Transformer Architecture22 menitMenjelaskan arsitektur Transformer dan mekanisme attention yang membuat large language model kuat: teks dipecah menjadi token, diubah menjadi embedding, lalu diolah.IntermediateEvergreen
2Multi Query Attention (MQA) and Grouped Query Attention (GQA) explained !!7 menitMenjelaskan bagaimana multi-query attention (MQA) dan grouped query attention (GQA) memperkecil memori KV cache yang tumbuh sebanding dengan jumlah attention heads.AdvanceEvergreen
3KV Cache Demystified: Speeding Up Large Language Models9 menitMenjelaskan KV cache, konsep penting LLM modern: model transformer decoder-only menghasilkan teks token demi token secara autoregresif.IntermediateEvergreen
4LLM Training Starts Here: Dataset Preparation & Tokenization Explained!10 menitMenjelaskan cara menyiapkan data pelatihan LLM dari Common Crawl sampai tersaring dan bersih.IntermediateEvergreenModul 23
5LLMs Like ChatGPT, Explained Visually – How Do They Really Work?12 menitMemperkenalkan large language model (LLM) sebagai bagian pertama sebuah seri: bentuk AI untuk memahami dan menghasilkan teks mirip manusia, dengan contoh ChatGPT, Gemini, Claude, dan DeepSeek.BeginnerEvergreen
6Transformer Architecture Explained20 menitMenjelaskan arsitektur Transformer dari makalah Attention Is All You Need (2017) beserta komponennya: token embedding, position encodings, attention, feed forward network, residual connections, dan normalization.IntermediateEvergreen
7What is Temperature in LLM10 menitMenjelaskan mengapa jawaban AI chatbot bisa berbeda tiap kali: setelah pelatihan, cara mengambil sampel dari distribusi probabilitas di akhir menentukan keacakan.IntermediateEvergreen
8RAG Explained for Beginners10 menitMenjelaskan retrieval augmented generation (RAG) sebagai solusi keterbatasan LLM, dengan konsep dasar model pretrained (base model) dan model yang disesuaikan dengan instruksi.IntermediateEvergreen

Logo: youtube.com