Meningkatkan Akurasi Analisis Ulasan Maskapai dengan Model Deep Transfer Learning

Meningkatkan Akurasi Analisis Ulasan Maskapai dengan Model Deep Transfer Learning 

Di era digital yang terus berkembang, ulasan pelanggan memainkan peran penting dalam membentuk persepsi publik dan pengambilan keputusan bisnis. Hal ini terutama terlihat di sektor penerbangan, di mana ulasan yang diposting di berbagai platform seperti Skytrax, TripAdvisor, dan Google Reviews menjadi referensi utama bagi calon penumpang. Ulasan ini mencakup berbagai aspek, seperti kenyamanan kabin, layanan kru, hingga kualitas makanan di dalam pesawat. Namun, dengan bertambahnya volume ulasan secara signifikan, analisis manual menjadi tidak efisien dan memerlukan solusi berbasis teknologi. Artikel ilmiah berjudul "Airline reviews processing: Abstractive summarization and rating-based sentiment classification using deep transfer learning" oleh Ayesha Ayub Syed, Ford Lumban Gaol, Alfred Boediman, dan Widodo Budiharto (2024), yang diterbitkan dalam International Journal of Information Management Data Insights, menawarkan solusi praktis. Penelitian ini menggunakan deep transfer learning untuk menyederhanakan ulasan maskapai penerbangan dengan cara meringkas ulasan secara otomatis dan mengklasifikasikan sentimen berdasarkan rating yang diberikan oleh pengguna. Dengan dataset yang terdiri dari lebih dari 500 ulasan, penelitian ini menunjukkan kemampuan luar biasa dalam menghasilkan ringkasan yang mencakup sekitar 30-40% dari teks asli, sehingga menghemat waktu pengguna yang ingin mendapatkan informasi secara cepat. 

Lebih dari itu, penelitian ini berhasil mengatasi tantangan dalam analisis data dengan menggunakan dua tahap fine-tuning yang memaksimalkan kemampuan model bahasa pralatih. Hasilnya, model peringkasan abstraktif yang dikembangkan menunjukkan peningkatan kinerja sebesar 2,7 poin ROUGE-2, memberikan hasil yang lebih akurat dan relevan dibandingkan dengan metode tradisional yang ada.

***

Pada rtikel "Airline reviews processing: Abstractive summarization and rating-based sentiment classification using deep transfer learning" menggunakan pendekatan yang sangat inovatif, dengan memanfaatkan model deep transfer learning berbasis PLM (Pretrained Language Models) seperti PEGASUS untuk peringkasan abstraktif dan BERT untuk klasifikasi sentimen. Salah satu tantangan utama yang dihadapi dalam analisis ulasan maskapai adalah ketidakseragaman ulasan, di mana satu ulasan sering kali mencerminkan berbagai aspek perjalanan yang berbeda. Dengan pendekatan dua tahap fine-tuning, penelitian ini mampu mengatasi tantangan domain shift yang kerap muncul ketika data pelatihan dan data tugas spesifik berbeda secara signifikan. 

Penelitian ini menunjukkan bahwa pendekatan fine-tuning dua tahap yang diterapkan mampu meningkatkan akurasi peringkasan ulasan dengan menghasilkan ringkasan yang lebih ringkas dan tetap relevan. Hal ini terlihat dari peningkatan 2,7 poin ROUGE-2 dibandingkan dengan model yang dilatih tanpa fine-tuning tambahan. Pendekatan ini membantu model untuk lebih beradaptasi dengan domain ulasan maskapai yang spesifik, sehingga dapat mengurangi kesalahan dalam memahami konteks ulasan yang sangat bervariasi. Ulasan maskapai sering kali membahas berbagai aspek seperti kenyamanan tempat duduk, layanan kru, dan fasilitas lainnya yang bisa memberikan sentimen campuran dalam satu ulasan, sehingga memerlukan analisis yang lebih cermat. 

Dari sisi klasifikasi sentimen, model yang dikembangkan menggunakan sinyal rating pelanggan untuk menentukan sentimen secara lebih konsisten. Dengan akurasi keseluruhan mencapai 89%, model ini mampu membedakan dengan baik antara sentimen positif, netral, dan negatif. Tantangan muncul pada klasifikasi sentimen netral, yang cenderung memiliki lebih sedikit data dibandingkan dengan dua kategori lainnya. Meskipun demikian, hasil yang diperoleh tetap menunjukkan bahwa teknik deep transfer learning menawarkan solusi yang lebih canggih dan akurat dalam mengklasifikasikan sentimen dari ulasan pelanggan. 

Data yang digunakan dalam penelitian ini juga menunjukkan bahwa rekomendasi dari pelanggan sangat dipengaruhi oleh rating yang mereka berikan. Dari 1100 ulasan yang dianalisis, 746 ulasan menunjukkan rekomendasi negatif, yang berkorelasi erat dengan rating rendah. Penggunaan sinyal rekomendasi ini membantu mengurangi bias dalam klasifikasi sentimen, sehingga prediksi yang dihasilkan lebih akurat. Hasil ini sejalan dengan penelitian lain yang menyatakan bahwa rating tinggi cenderung berkorelasi dengan sentimen positif, seperti yang ditemukan oleh Baniya et al. (2021) dalam analisis ulasan Airbnb.

***

Penelitian ini telah menunjukkan bahwa penggunaan deep transfer learning dalam menganalisis ulasan maskapai menawarkan keunggulan signifikan, baik dari segi efisiensi maupun akurasi. Dengan pendekatan fine-tuning dua tahap, model yang dikembangkan mampu mengatasi tantangan domain shift dan menghasilkan peringkasan serta klasifikasi sentimen yang lebih relevan. Selain itu, dengan menggunakan sinyal rating pelanggan, klasifikasi sentimen dapat dilakukan dengan lebih konsisten dan akurat, meskipun dataset yang digunakan cukup beragam dan kompleks. 

Implikasi penelitian ini sangat luas, karena metode yang digunakan tidak hanya relevan untuk industri penerbangan, tetapi juga dapat diterapkan pada berbagai sektor lain yang menghadapi tantangan serupa dalam menganalisis ulasan pelanggan secara otomatis. Ke depan, perlu dilakukan pengembangan lebih lanjut dengan dataset yang lebih besar dan bervariasi untuk memperluas cakupan aplikasi dari model ini. Dengan demikian, penelitian ini membuka jalan bagi inovasi lebih lanjut dalam bidang analisis data berbasis ulasan dan teknologi NLP.

Referensi:

Syed, A. A., Gaol, F. L., Boediman, A., & Budiharto, W. (2024). Airline reviews processing: Abstractive summarization and rating-based sentiment classification using deep transfer learning. International Journal of Information Management Data Insights, 4(2024), 100238. https://doi.org/10.1016/j.jjimei.2024.100238