Framework Evaluasi Baru untuk Mengukur Kualitas Simulasi Proses Bisnis
Artikel "A Framework for Measuring the Quality of Business Process Simulation Models" karya David Chapela Campa, Ismail Benchekroun, Opher Baron, Marlon Dumas, Dmitry Krass, dan Arik Senderovich, yang diterbitkan pada jurnal Information Systems (Volume 127, 2025), memberikan wawasan penting tentang bagaimana kita seharusnya menilai kualitas model simulasi proses bisnis (BPS). Saat ini, simulasi proses bisnis menjadi alat yang semakin krusial bagi banyak perusahaan untuk memprediksi kinerja proses mereka dalam berbagai skenario, terutama ketika harus berhadapan dengan ketidakpastian. Namun, meskipun banyak digunakan, pertanyaan utama yang sering muncul adalah: Bagaimana kita bisa memastikan model simulasi tersebut akurat dan representatif?
Para penulis mengajukan Framework baru yang tidak hanya mengukur ketepatan simulasi dari satu perspektif, tetapi juga dari beberapa perspektif yang mencakup kontrol alur, waktu, kemacetan, dan sumber daya. Dengan pendekatan ini, simulasi tidak hanya dinilai dari seberapa dekat mereka mereplikasi urutan aktivitas, tetapi juga dari aspek temporal dan kapasitas sumber daya yang tersedia. Hal ini sangat relevan mengingat proses bisnis tidak hanya terjadi dalam urutan tetap, tetapi juga sangat bergantung pada ketersediaan sumber daya dan dinamika waktu. Artikel ini menjadi salah satu kontribusi penting di tengah meningkatnya kebutuhan akan validasi simulasi yang lebih mendalam. Secara khusus, penelitian ini menonjol karena tidak hanya memberikan solusi teoritis, tetapi juga evaluasi empiris dengan menggunakan dataset sintetis dan nyata, yang memperkuat kesimpulannya.
Dalam mengembangkan Framework untuk mengukur kualitas simulasi proses bisnis, David Chapela Campa beserta koleganya memberikan solusi praktis yang sangat dibutuhkan dalam dunia bisnis yang semakin digital dan data driven. Dengan menggunakan pendekatan berbasis data historis, mereka menyarankan untuk membandingkan event log data yang mencatat eksekusi aktual proses bisnis dengan log yang dihasilkan dari simulasi. Ini bukan hanya teori belaka, tetapi juga diperkaya oleh evaluasi empiris menggunakan dataset sintetis dan nyata. Misalnya, Framework ini dievaluasi dengan dua pendekatan simulasi otomatis yang populer: SIMOD dan ServiceMiner, keduanya mengandalkan metode yang berbeda untuk menemukan model simulasi dari data historis.
Salah satu aspek paling menarik dari Framework ini adalah pendekatannya yang tidak "satu ukuran untuk semua." Dalam dunia nyata, model proses bisnis mencerminkan berbagai dimensi yang saling terkait, seperti alur kontrol, distribusi waktu, kemacetan, dan sumber daya. Di sinilah Framework ini unggul, karena mengusulkan untuk mengevaluasi setiap perspektif tersebut secara independen. Misalnya, untuk perspektif alur kontrol, Framework ini menggunakan algoritma seperti Damerau Levenshtein Distance untuk mengukur seberapa dekat urutan aktivitas dalam simulasi dengan yang ada di event log asli. Pendekatan ini menawarkan ketepatan yang lebih baik dibanding metode manual atau yang hanya menghasilkan satu angka kualitas, sebagaimana yang biasa ditemukan pada evaluasi model sebelumnya.
Penelitian ini juga menunjukkan perbedaan signifikan antara model simulasi yang dihasilkan secara otomatis. Dalam satu eksperimen, Framework ini mampu mengidentifikasi kelemahan model SIMOD, yang lebih lambat dalam menyesuaikan distribusi waktu pada log yang diperturbasi, dibandingkan dengan ServiceMiner yang memiliki optimasi waktu lebih baik. Dari sudut pandang ini, artikel ini menyoroti pentingnya menggunakan berbagai ukuran kualitas untuk mendapatkan gambaran yang lebih komprehensif tentang kemampuan model simulasi.
Dengan mencakup perspektif waktu dan sumber daya, artikel ini membahas dua elemen kunci yang sering diabaikan dalam evaluasi simulasi. Distribusi waktu, misalnya, dievaluasi dengan Earth Mover's Distance (EMD), alat yang secara matematis mengukur perbedaan antara dua distribusi temporal. Para penulis juga menyertakan dimensi ketersediaan sumber daya, di mana simulasi diuji untuk melihat apakah mampu menyesuaikan kapasitas sumber daya dengan dinamika proses. Studi ini menunjukkan bahwa hanya 70% model simulasi otomatis yang mampu menyesuaikan waktu kedatangan kasus baru secara akurat, menunjukkan adanya ruang signifikan untuk perbaikan dalam algoritma yang ada saat ini.
Secara keseluruhan, artikel ini memberikan kontribusi yang penting bagi dunia simulasi proses bisnis, terutama dalam hal evaluasi kualitas model simulasi. Dengan mengajukan Framework yang lebih komprehensif, para penulis telah membuka jalan bagi pengembangan metode validasi yang lebih tepat dan mendalam. Hasil penelitian menunjukkan bahwa mengukur simulasi dari berbagai perspektif seperti alur kontrol, distribusi waktu, kemacetan, dan sumber daya mampu mengungkap kelemahan yang tidak terlihat jika hanya menggunakan satu ukuran kualitas.
Di era di mana otomatisasi dan optimasi proses bisnis semakin penting, Framework seperti ini dapat membantu organisasi untuk lebih yakin dalam menggunakan simulasi untuk pengambilan keputusan. Meskipun hanya 70% dari model simulasi otomatis yang menunjukkan ketepatan waktu yang memadai, hasil ini memberikan tantangan bagi pengembang model untuk meningkatkan algoritma yang ada. Ke depannya, penting bagi penelitian lebih lanjut untuk mengeksplorasi lebih banyak aplikasi praktis dari Framework ini, serta memperluas penggunaannya di berbagai industri untuk mengoptimalkan kinerja dan sumber daya yang tersedia.
Referensi
Chapela Campa, D., Benchekroun, I., Baron, O., Dumas, M., Krass, D., & Senderovich, A. (2024). A framework for measuring the quality of business process simulation models. Information Systems, 127, 102447. https://doi.org/10.1016/j.is.2024.102447
