Paper review

Learning representations by back-propagating errors

Rumelhart, Hinton & Williams1986Nature 323, 533-536

Summary

Paper ini menjelaskan prosedur pembelajaran yang menyesuaikan bobot jaringan untuk mengurangi selisih antara output aktual dan output yang diinginkan. Representasi internal terbentuk selama proses pembelajaran.

Strengths

  • Menjelaskan mekanisme pembelajaran representasi internal.
  • Menjadi fondasi praktis training neural network berlapis.
  • Menghubungkan error output dengan perubahan bobot di lapisan sebelumnya.

Limitations

  • Eksperimen berada pada skala kecil dibanding jaringan modern.
  • Training jaringan dalam tetap menghadapi masalah optimasi.
  • Paper belum mencakup teknik modern seperti normalization dan residual connection.

Conclusion

Backpropagation menjadi salah satu ide inti deep learning: model dapat mempelajari representasi internal melalui sinyal error.

Reading guide

Fokus pada cara error dipropagasikan ke belakang, lalu coba lab neural network untuk melihat loss turun per epoch.