Analisis Sentimen Layanan Bea Cukai melalui Twitter Menggunakan Algoritma Naive Bayes dan Support Vector Machine

Pada tahap ini Algoritma digunakan untuk memprediksi probabilitas suatu tweet menjadi positif atau negatif berdasarkan prinsip probabilitas dan konsep statistik.

5.Tahap pengujian model dengan Confusion Matrix

Confusion Matrix adalah proses evaluasi kinerja model klasifikasi dengan menggunakan matriks yang mengukur sejauh mana model dapat membedakan antara kelas-kelas yang berbeda. Confusion Matrix memberikan gambaran detail tentang bagaimana model membuat prediksi dibandingkan dengan label sebenarnya. 

Hasil Penelitian

Berdasarkan hasil evaluasi performa model, algoritma Naive Bayes menunjukkan akurasi sebesar 80% dengan Precision sebesar 0,84, Recall sebesar 0,60, dan F1-score sebesar 0,70. Hasil ini menunjukkan bahwa Naive Bayes cukup baik dalam memprediksi dengan presisi yang tinggi, namun kemampuan untuk menangkap seluruh data positif (recall) masih relatif rendah. Di sisi lain, algoritma Support Vector Machine (SVM) memberikan hasil yang lebih unggul, dengan akurasi sebesar 89%, Precision sebesar 0,88, Recall sebesar 0,82, dan F1-score sebesar 0,85. Hasil ini menunjukkan bahwa SVM tidak hanya lebih akurat secara keseluruhan, tetapi juga lebih seimbang dalam presisi dan recall, sehingga memberikan performa yang lebih baik dalam menangani prediksi data positif dan negatif. Secara keseluruhan, SVM terbukti lebih efektif dibandingkan Naive Bayes dalam hal akurasi, presisi, recall, dan F1-score pada dataset yang digunakan. Hasil analisis sentiment terhadap topik atau kata kunci "Beacukai" menunjukkan bahwa dari 4000 data, sentiment positif sebanyak 2014 dan sentiment negatif sebanyak 1986. Ini menunjukkan bahwa perspektif masyarakat lebih cenderung positif daripada negatif.