Dalam era digital yang semakin berkembang, media sosial menjadi salah satu platform utama bagi masyarakat untuk menyampaikan pendapat dan keluhan terhadap layanan publik. Salah satu layanan yang sering dibahas di media sosial adalah Bea Cukai. Sebagai lembaga yang berperan penting dalam mengelola lalu lintas barang di perbatasan, performa dan layanan Bea Cukai sangat berpengaruh terhadap persepsi masyarakat. Untuk memahami bagaimana masyarakat merespons layanan ini, analisis sentimen menjadi alat yang sangat berguna.
Penelitian ini memanfaatkan data dari platform Twitter guna melakukan analisis sentimen terhadap layanan Bea Cukai, menggunakan algoritma Naive Bayes dan Support Vector Machine. Hasil dari analisis sentimen ini akan membantu Bea Cukai untuk mendapatkan gambaran lebih jelas tentang bagaimana masyarakat menilai layanan mereka. Dengan mengetahui sentimen publik—baik positif maupun negatif—Bea Cukai dapat mengambil langkah-langkah strategis untuk memperbaiki layanan, merespons keluhan, serta meningkatkan kepuasan masyarakat. Dalam penelitian yang dilakukan, algoritma Naive Bayes dan Support Vector Machine yang digunakan untuk memproses ribuan tweet yang berhubungan dengan layanan Bea Cukai.
Metodologi Penelitian
1. Pengumpulan data
Disini proses mengumpulkan dan menyusun data yang akan digunakan untuk melatih dan menguji mode dalam klasifikasi atau prediksi. Proses pengumpulan data dengan menggunakan Tweet Harvest yang di sediakan di Google colab dengan mendapatkan dataset sebanyak 4000.
2.Processing Data
Processing adalah serangkaian langkah yang dilakukan untuk mengubah data mentah menjadi informasi yang dapat digunakan untuk analisis lebih lanjut, interpretasi, atau pengambilan keputusan. Pemrosesan data melibatkan transformasi, pembersihan, dan pengorganisasian data agar lebih mudah dianalisis oleh manusia atau algoritma.
3.Pelabelan Data
Tahap ini adalah tahap bagian pelabelan pada data yang sudah di besihkan pada proses processing data. Disini pelabelan menggunakan libary luxion Based yang ada pada google colab yang dibagi jadi data positif dan data negatif
4.Klasifikasi Naive Bayes dan Support Vector Machine
Pada tahap ini Algoritma digunakan untuk memprediksi probabilitas suatu tweet menjadi positif atau negatif berdasarkan prinsip probabilitas dan konsep statistik.
5.Tahap pengujian model dengan Confusion Matrix
Confusion Matrix adalah proses evaluasi kinerja model klasifikasi dengan menggunakan matriks yang mengukur sejauh mana model dapat membedakan antara kelas-kelas yang berbeda. Confusion Matrix memberikan gambaran detail tentang bagaimana model membuat prediksi dibandingkan dengan label sebenarnya.Â
Hasil Penelitian
Berdasarkan hasil evaluasi performa model, algoritma Naive Bayes menunjukkan akurasi sebesar 80% dengan Precision sebesar 0,84, Recall sebesar 0,60, dan F1-score sebesar 0,70. Hasil ini menunjukkan bahwa Naive Bayes cukup baik dalam memprediksi dengan presisi yang tinggi, namun kemampuan untuk menangkap seluruh data positif (recall) masih relatif rendah. Di sisi lain, algoritma Support Vector Machine (SVM) memberikan hasil yang lebih unggul, dengan akurasi sebesar 89%, Precision sebesar 0,88, Recall sebesar 0,82, dan F1-score sebesar 0,85. Hasil ini menunjukkan bahwa SVM tidak hanya lebih akurat secara keseluruhan, tetapi juga lebih seimbang dalam presisi dan recall, sehingga memberikan performa yang lebih baik dalam menangani prediksi data positif dan negatif. Secara keseluruhan, SVM terbukti lebih efektif dibandingkan Naive Bayes dalam hal akurasi, presisi, recall, dan F1-score pada dataset yang digunakan. Hasil analisis sentiment terhadap topik atau kata kunci "Beacukai" menunjukkan bahwa dari 4000 data, sentiment positif sebanyak 2014 dan sentiment negatif sebanyak 1986. Ini menunjukkan bahwa perspektif masyarakat lebih cenderung positif daripada negatif.
