Propagasi Balik (Backpropagation)
Propagasi balik adalah algoritma utama untuk melatih jaringan saraf. Algoritma ini bekerja dengan meminimalkan fungsi biaya (cost function) melalui proses pembelajaran. Ini melibatkan perhitungan gradien dari fungsi biaya terhadap setiap bobot dalam jaringan dan memperbarui bobot-bobot tersebut. Langkah-langkah dalam propagasi balik meliputi:
1. Hitung Kesalahan Output:
delta^(L) = nabla_a C * f'(z^(L))
Di sini, delta^(L) adalah kesalahan pada lapisan output, nabla_a C adalah gradien fungsi biaya terhadap aktivasi lapisan output, dan f'(z^(L)) adalah turunan dari fungsi aktivasi pada lapisan L.
2. Perbarui Bobot dan Bias:
W^(l) = W^(l) - eta * delta^(l+1) * a^(l)^T
b^(l) = b^(l) - eta * delta^(l+1)
Di sini, eta adalah laju pembelajaran (learning rate), delta^(l+1) adalah kesalahan pada lapisan berikutnya, dan a^(l)^T adalah transpose dari vektor aktivasi pada lapisan l.
3. Hitung Kesalahan untuk Lapisan Sebelumnya:
delta^(l) = (W^(l+1)^T * delta^(l+1)) * f'(z^(l))
