Jak se neuronka učí: od derivací po backpropagation

[zapotocnylubos]

1. Funkce a změna

• Co je funkce – vstup/výstup
• Intuice: jak rychle se mění výstup při změně vstupu
• Příklad na přímce, pak na křivce

2. Derivace

• Geometrická intuice – tečna, sklon křivky
• Derivace jako "míra změny"
• Základní pravidla jen pro to, co použijeme (mocniny, součet)
• ⚠️ Bez formálních limit – jen intuice
• 🔢 Příklad: perceptron 1-1 – jeden vstup, jedna váha, jeden výstup; jak se změní výstup při změně váhy

3. Funkce více proměnných

• Co se změní, když má funkce víc vstupů
• Parciální derivace – měním jen jednu proměnnou, ostatní zmrazím
• Gradient – vektor všech parciálních derivací, směr největšího růstu
• 🔢 Příklad: síť 2-1 – dva vstupy, dvě váhy; parciální derivace zvlášť pro každou váhu

4. Chain rule

• Složená funkce – funkce uvnitř funkce
• Jak derivovat krok za krokem

5. Ztrátová funkce a gradient descent

• Loss – jak měříme chybu sítě
• Loss jako funkce vah → to minimalizujeme
• Gradient descent: jdeme po svahu dolů
• w = w - lr * ∂L/∂w
• 🔢 Příklad: síť 2-1 – ruční výpočet aktualizace obou vah

6. Backpropagation

• Chain rule aplikovaná přes vrstvy sítě
• Forward pass → výpočet loss
• Backward pass → šíření gradientu zpět
• 🔢 Příklad: síť 2-2-1 – jedna skrytá vrstva; chain rule přes vrstvy krok za krokem