ML VISUAL LAB / Metode ML
Transformer Attention
Intuisi
Masukkan kalimat sendiri lalu baca Q, K, V, scaled dot-product, softmax, dan attention matrix.
Rumus inti
Attention(Q,K,V) = softmax(QK^T / sqrt(d))V
Kapan digunakan?
Pemrosesan bahasa dan model generatif modern.