Confusion Matrix dan Metrik Evaluasi Klasifikasi

Panduan visual: True Positive, False Positive, False Negative, True Negative, Accuracy, Precision, Recall, Specificity, dan F1 Score

Dalam machine learning, model klasifikasi tidak cukup dinilai dari seberapa sering ia menjawab benar. Kita perlu memahami jenis kesalahan yang terjadi: apakah model terlalu sering memberi alarm palsu, atau justru sering melewatkan kasus penting. Confusion matrix membantu membedah jawaban model menjadi empat komponen dasar: True Positive (TP), False Positive (FP), False Negative (FN), dan True Negative (TN). Dari empat angka ini, kita bisa menghitung berbagai metrik evaluasi yang lebih bermakna daripada accuracy saja.

1. Confusion Matrix: fondasi semua metrik klasifikasi

Confusion matrix adalah tabel 2 x 2 yang membandingkan label aktual dengan prediksi model. Baris biasanya menunjukkan kondisi aktual, sedangkan kolom menunjukkan hasil prediksi. Pada klasifikasi biner, hasilnya dibagi menjadi empat kelompok.

Gambar 1. Confusion matrix untuk klasifikasi biner.

Total sampel dalam confusion matrix dapat ditulis sebagai N = TP + FP + FN + TN. Semua metrik evaluasi klasifikasi pada dasarnya adalah cara berbeda untuk membaca empat angka ini.

2. Precision: seberapa bisa dipercaya prediksi positif?

Precision menjawab pertanyaan: dari semua data yang diprediksi positif oleh model, berapa yang benar-benar positif? Metrik ini penting ketika prediksi positif memicu tindakan yang mahal, sensitif, atau mengganggu.

Gambar 2. Precision: kualitas prediksi positif.

Rumus:Precision = TP / (TP + FP)

Precision tinggi berarti sebagian besar prediksi positif memang benar. Jika precision rendah, model terlalu mudah memberi label positif sehingga banyak False Positive. Contohnya, pada sistem spam filter, terlalu banyak False Positive bisa membuat email penting masuk ke folder spam.

3. Recall: seberapa banyak kasus positif yang berhasil ditemukan?

Recall menjawab pertanyaan: dari semua kasus positif yang benar-benar ada, berapa yang berhasil ditemukan oleh model? Metrik ini sangat penting ketika melewatkan kasus positif memiliki konsekuensi besar.

Gambar 3. Recall: kemampuan menemukan kasus positif aktual.

Rumus:Recall = TP / (TP + FN)

Recall tinggi berarti sedikit kasus positif yang terlewat. Pada skrining medis, sistem keamanan, dan deteksi fraud, recall sering diprioritaskan karena False Negative dapat berarti pasien sakit tidak terdeteksi, ancaman lolos, atau transaksi berbahaya tidak tertangkap.

4. F1 Score: ringkasan saat precision dan recall sama-sama penting

F1 Score adalah rata-rata harmonik dari precision dan recall. Karena menggunakan rata-rata harmonik, nilai F1 akan rendah jika salah satu dari precision atau recall rendah.

Gambar 4. F1 Score sebagai keseimbangan antara precision dan recall.

Rumus:F1 = 2 x (Precision x Recall) / (Precision + Recall)

Bentuk langsung dari confusion matrix:F1 = 2TP / (2TP + FP + FN)

5. Precision vs Recall: efek decision threshold

Banyak model klasifikasi menghasilkan skor probabilitas, misalnya 0 sampai 1. Untuk mengubah skor menjadi label positif atau negatif, kita memilih decision threshold. Mengubah threshold akan menggeser keseimbangan antara precision dan recall.

Gambar 5. Trade-off precision dan recall melalui decision threshold.

Threshold lebih rendah membuat model lebih mudah memberi label positif. Dampaknya, recall cenderung naik karena lebih banyak kasus positif tertangkap, tetapi False Positive juga bisa meningkat sehingga precision turun. Sebaliknya, threshold lebih tinggi membuat model lebih selektif. Precision dapat naik, tetapi lebih banyak kasus positif bisa terlewat sehingga recall turun.

5.1 IoU, Dice Score, dan Jaccard untuk segmentasi

Pada segmentasi citra, confusion matrix juga bisa dibaca sebagai hubungan antara area prediksi dan area aktual. Intersection over Union (IoU) menghitung seberapa besar irisan prediksi dan ground truth dibanding gabungannya, sedangkan Dice Score memberi bobot lebih besar pada area irisan.

Rumus:IoU = TP / (TP + FP + FN)Dice = 2TP / (2TP + FP + FN)Jaccard = IoU

Jika prediksi segmentasi terlalu lebar, FP naik dan IoU turun. Jika prediksi melewatkan objek, FN naik dan Dice Score juga turun. Karena itu IoU dan Dice lebih cocok untuk kasus area atau piksel dibanding accuracy biasa.

6. Mengapa accuracy bisa menyesatkan?

Accuracy adalah metrik yang paling intuitif, tetapi tidak selalu paling aman. Accuracy menghitung proporsi prediksi benar dari total data. Masalah muncul ketika data tidak seimbang, misalnya 99% negatif dan hanya 1% positif.

Gambar 6. Mengapa accuracy bisa menyesatkan pada data tidak seimbang.

Rumus:Accuracy = (TP + TN) / (TP + TN + FP + FN)

Jika model selalu memprediksi negatif pada data dengan 990 negatif dan 10 positif, ia bisa mendapat accuracy 99%. Namun model tersebut gagal total menemukan kelas positif karena TP = 0 dan FN = 10.

7. Rumus metrik evaluasi dari confusion matrix

8. Contoh perhitungan cepat

Misalkan model menghasilkan TP = 80, FP = 20, FN = 40, dan TN = 860. Total sampel = 1.000.

9. Cara memilih metrik yang tepat

Kesimpulan

Confusion matrix adalah titik awal untuk memahami performa model klasifikasi secara jujur. Accuracy memberi gambaran umum, tetapi sering tidak cukup, terutama pada data tidak seimbang. Precision membantu menilai seberapa bersih prediksi positif, recall membantu menilai seberapa banyak kasus positif yang tertangkap, specificity membantu menilai kemampuan mengenali kelas negatif, dan F1 Score membantu merangkum precision serta recall. Metrik terbaik bukan yang angkanya paling tinggi, melainkan yang paling sesuai dengan risiko dan tujuan penggunaan model.