Mengapa Keterbukaan Data Penting untuk Penelitian Persyaratan Sistem Informasi yang Lebih Baik?
Penelitian tentang kualitas persyaratan perangkat lunak telah menjadi salah satu topik yang sangat relevan dalam domain rekayasa perangkat lunak, terutama di era sains terbuka. Artikel berjudul Requirements Quality Research Artifacts: Recovery, Analysis, and Management Guideline oleh Julian Frattini, Lloyd Montgomery, Davide Fucci, Michael Unterkalmsteiner, Daniel Mendez, dan Jannik Fischbach, yang diterbitkan dalam The Journal of Systems and Software pada tahun 2024, menyoroti masalah kritis terkait ketidaktersediaan artefak penelitian yang menjadi hambatan bagi kemajuan di bidang ini. Kualitas spesifikasi persyaratan sangat penting karena memengaruhi berbagai fase pengembangan perangkat lunak, dan akses terhadap artefak yang relevan seperti dataset dan implementasi penting untuk mendukung penelitian lanjutan dan inovasi di industri.
Namun, tantangan utama yang dihadapi oleh komunitas ini adalah hilangnya atau ketidaktersediaan artefak penelitian yang sebelumnya telah dipublikasikan. Artikel ini melaporkan bahwa sekitar 87,8% dataset dan 80,6% implementasi dalam domain penelitian kualitas persyaratan tidak lagi tersedia, atau bahkan belum pernah dipublikasikan. Hal ini jelas menghambat reproduktivitas hasil penelitian dan kemampuan untuk membangun solusi baru berdasarkan penelitian sebelumnya. Masalah ini semakin parah karena kurangnya perhatian terhadap pengelolaan artefak secara berkelanjutan, terutama di kalangan peneliti yang mungkin menganggap bahwa berbagi artefak tidak memiliki manfaat langsung bagi mereka.
Untuk mengatasi masalah ini, penelitian Frattini dan timnya tidak hanya memulihkan artefak yang hilang, tetapi juga menyusun panduan manajemen artefak yang bertujuan untuk mendukung transparansi dan keterbukaan dalam penelitian. Panduan ini diharapkan dapat menjadi landasan bagi komunitas ilmiah untuk memperkuat komitmen terhadap prinsip-prinsip sains terbuka.
####
Artikel ini menyuguhkan pendekatan dua fase yang sangat pragmatis dalam upaya memulihkan artefak penelitian yang hilang dan tidak tersedia. Pada fase pertama, tim peneliti mendekati 35 penulis yang bertanggung jawab atas dataset dan implementasi yang hilang. Dari jumlah tersebut, 54,3% merespons, sementara 37,1% berhasil memulihkan artefak yang hilang. Namun, ada juga peneliti yang tidak dapat dihubungi, dan beberapa artefak dinyatakan benar-benar hilang. Sebagai contoh, dua dataset dan lima implementasi berhasil dipulihkan, sementara sisanya, sayangnya, dianggap tidak dapat lagi ditemukan. Angka ini menunjukkan bahwa upaya pemulihan, meski tidak sepenuhnya berhasil, mampu meningkatkan ketersediaan artefak penelitian dari 12,3% menjadi 26,3% untuk dataset dan dari 19,4% menjadi 30,5% untuk implementasi.
Fase kedua melibatkan pendekatan komunitas yang lebih luas. Tim ini berkolaborasi dengan tujuh peneliti senior lainnya dalam upaya melacak artefak yang lebih sulit ditemukan, serta mendapatkan akses ke artefak yang sempat dinyatakan hilang oleh penulis asli. Proses ini menambah lima artefak yang tersedia, mengangkat total ketersediaan artefak hingga 70,1% dari semua artefak yang ditinjau. Peningkatan ketersediaan ini, meskipun signifikan, juga mengungkap bahwa hampir setengah dari artefak yang dihasilkan di penelitian sebelumnya tetap tidak tersedia, dengan alasan seperti sensitifitas data atau hilangnya akses karena perubahan afiliasi penulis.
Hal yang paling menarik adalah panduan pengelolaan artefak yang dikembangkan oleh tim peneliti. Panduan ini mengarahkan peneliti tentang bagaimana mengumpulkan, mendokumentasikan, melisensikan, mengarsipkan, dan membagikan artefak penelitian mereka dengan benar. Panduan ini sejalan dengan prinsip-prinsip sains terbuka, yang telah diwajibkan oleh beberapa lembaga pendanaan di Eropa. Sebagai contoh, Zenodo dan GitHub menjadi platform utama yang disarankan untuk hosting artefak, memastikan bahwa data dan implementasi tetap dapat diakses dalam jangka panjang. Data dari artikel ini juga menunjukkan bahwa artefak yang di-host di platform publik seperti Zenodo memiliki tingkat persistensi yang lebih tinggi dibandingkan dengan yang di-host secara pribadi, dengan tingkat keberhasilan 59% untuk hosting pribadi dan 76% untuk hosting publik.
Penelitian ini menyoroti pentingnya komitmen komunitas ilmiah terhadap prinsip sains terbuka. Dengan mengadopsi praktik berbagi artefak yang lebih baik, penelitian di masa depan dapat menghindari hilangnya artefak yang berharga dan mempercepat inovasi, terutama di bidang kualitas persyaratan perangkat lunak.
####
Kesimpulannya, artikel karya Frattini et al. (2024) memberikan pandangan kritis terhadap masalah ketersediaan artefak penelitian di bidang kualitas persyaratan perangkat lunak. Dengan tingkat kehilangan artefak yang mencapai 87,8% untuk dataset dan 80,6% untuk implementasi, jelas bahwa komunitas penelitian ini menghadapi krisis dalam hal transparansi dan aksesibilitas data yang dibutuhkan untuk pengembangan lebih lanjut. Namun, melalui pendekatan dua fase yang dilakukan, tim peneliti menunjukkan bahwa pemulihan sebagian artefak yang hilang mungkin dilakukan, dengan peningkatan ketersediaan hingga 70,1%.
