Paper review

Random Forests

Leo Breiman2001Machine Learning 45, 5-32

Summary

Breiman menjelaskan random forest sebagai kombinasi predictor tree yang bergantung pada random vector. Paper membahas generalization error, kekuatan tiap pohon, korelasi antar-pohon, robustness terhadap noise, dan variable importance.

Strengths

  • Menghubungkan performa ensemble dengan strength serta correlation.
  • Menyediakan estimasi internal untuk error dan variable importance.
  • Membahas klasifikasi sekaligus penerapan pada regresi.

Limitations

  • Interpretasi model individual tetap lebih sulit daripada satu decision tree.
  • Jumlah pohon dan fitur per split tetap memerlukan keputusan praktis.
  • Variable importance perlu dibaca hati-hati ketika fitur berkorelasi.

Conclusion

Random forest menjadi baseline tabular yang awet karena memadukan performa kuat, robustness, dan alat diagnosis internal.

Reading guide

Baca abstract lebih dahulu, lalu fokus pada hubungan strength-correlation dan bagian variable importance.