Rapid Outcome Assesment (ROA) dalam Evaluasi Program

PENGENALAN ROA

RAPID Outcome Assessment (ROA) merupakan gambaran pemetaan hasil untuk memahami pengaruh kebijakan terhadap lingkungan, alat ini membantu menilai kontribusi program dan kegiatan lainnya terhadap kondisi perubahan obyek program (Jones, 2011). Hal ini dilakukan dengan menggambarkan konteks, proyek, pelaku utama dan perilaku mereka, bagaimana ini berubah dari waktu ke waktu, dan apa yang mempengaruhi proyek tersebut atas perubahan perilaku kunci. Dengan demikian metode ini perlu didukung oleh sebuah lokakarya intensif dengan anggota tim, mitra proyek, serta analisis mendalam (Ryan et all, 2003).

The RAPID Outcome Assessment (ROA) adalah suatu metodologi yang dikembangkan untuk menilai dan memetakan kontribusi dalam suatu proyek pada perubahan kebijakan ataupun lingkungan kebijakan (dampak yang dihasilkan) (ODI, 2011). Metode ini merupakan metode yang fleksibel karena dapat menggambarkan secara visual seberapa jauh multiplier effect sebuah program/kebijakan dan dapat digunakan bersama dengan alat evaluasi lainnya (Jones, 2011). Metode ini sering digunakan untuk mengevaluasi kegiatan dengan cepat serta biaya yang relative rendah sehingga hasil evaluasi dapat digunakan sebagai bahan pertimbangan dalam pelaksanaan kegiatan atau program berikutnya (Bappenas, 2009).

ROA didasarkan signifikan dari Outcome Mapping karena berfokus pada aktor-aktor kunci bahwa program/proyek yang dievaluasi secara langsung mempengaruhi dan menimbulkan perubahan progresif pada lingkungan obyek penerapan program. Metode ini juga mengikutsertakan metodologi lain seperti Studi Episode, yang berfokus pada flashback perubahan kebijakan untuk menentukan faktor-faktor yang berkontribusi terhadap perubahan tersebut, mengidentifikasi faktor yang paling signifikan sehingga mampu memprioritaskan pada perubahan kunci. Teknik yang dilakukan dalam identifikasi perubahan dan faktor perubahan kunci dari sebuah penerapan program meliputi wawancara, diskusi kelompok (FGD), observasi langsung dan survey skala kecil (Bappenas, 2009). Dengan demikian hal-hal yang perlu diperhatikan dalam pelaksanaan ROA antara lain : obyek program yang akan diteliti, sejauhmana informassi tersebut dibutuhkan dan kapan informasi tersebut dibutuhkan (Bappenas, 2009).

TAHAPAN ANALISIS

Menurut ODI (2011) metodologi ROA memiliki tiga tahap utama. Tahap pertama adalah tahap persiapan, di mana review dokumen dan serangkaian percakapan informal dilakukan untuk membuat draft gambar sejarah proyek dan perubahan yang diharapkan. Tahap kedua adalah lokakarya di mana proses perubahan kebijakan utama diidentifikasi oleh para pemangku kepentingan. Tahap ketiga melibatkan proses tindak lanjut yang memungkinkan para peneliti untuk memperbaiki cerita perubahan, mengidentifikasi aktor kebijakan kunci, peristiwa dan seberapa besar kontribusi program dalam perubahan lingkungan.

Tahap 1: Latar Belakang penelitian dan persiapan

1.Langkah pertama, seperti halnya dalam proses pembelajaran, berupaya untuk mengembangkan pemahaman dasar tentang situasi. Ini akan melibatkan review laporan proyek, makalah proyek dan produk penelitian, koran, referensi / artikel, literatur yang relevan dengan subjek proyek dan kebijakan lingkungan sebelum dan setelah proyek.

2.Percakapan dengan staf proyek yang relevan dan stakeholder akan memberikan kontribusi untuk langkah satu untuk mengidentifikasi tujuan kebijakan secara keseluruhan, pelaku utama dan peristiwa yang menjadi sasaran dan berbagai strategi yang digunakan.

Tahap 2: Lokakarya ROA

3.Tujuan dari lokakarya ini adalah untuk memetakan perubahan perilaku pelaku utama dan membangun peta pengaruh. Tim ROA harus mempertimbangkan siapa yang harus diundang ke workshop, berapa banyak lokakarya yang diperlukan dan berapa lama mereka akan bertahan. Lokakarya ini biasanya akan mencakup tim proyek, stakeholder kunci dan ahli eksternal lain; semakin beragam peserta baik.

4. Lokakarya ini akan mencakup:

a.Mendefinisikan lingkungan kebijakan pada awal dan akhir dari proyek / periode;

b.Mengidentifikasi pelaku utama, yang mungkin individu atau lembaga, dan clustering ke dalam kelompok, misalnya, 'masyarakat sipil, Organisasi LSM, , dan Sektor Swasta.

c.Perilaku aktor Characterising '(i) sekarang dan (ii) pada titik awal yang diberikan dalam proses kebijakan;

d.Membangun timeline

e.Pemetaan perubahan perilaku utama di sepanjang timeline;

f.Pemetaan (i) kegiatan utama proyek / perubahan, dan (ii) pengaruh eksternal (peristiwa, pengaruh, tren, shock) sepanjang garis waktu yang sama;

g.Menentukan link / pengaruh antara 'perubahan perilaku dan peristiwa diidentifikasi, termasuk kegiatan proyek, pengaruh eksternal dan aktor-aktor lain' aktor perubahan perilaku.

Tahap 3: Triangulate dan memperbaiki kesimpulan

5.Tim ROA harus menggunakan informasi yang dikumpulkan pada tahap awal serta lokakarya untuk mengembangkan cerita perubahan yang menggambarkan kontribusi dari proyek untuk hasil yang diamati.

6.Gunakan timeline untuk mengidentifikasi informan untuk menindaklanjuti dengan wawancara mendalam. Ini akan membantu untuk mengkonfirmasi hubungan dan pengaruh ditentukan di bengkel dan untuk menilai sifat dari kontribusi untuk berubah.

Pada saat tahap 2 dilakukan melalui diskusi atau lokakarya secara kontinyu dengan tahapan pemetaan faktor kunci pengaruh kebijakan sebagai berikut (ODI, 2011 dan Hovland, 2007) :

1.Deskripsi mengenai lingkungan kebijakan pada awal dan akhir suatu proyek.(Gambar 1)

Peserta lokakarya diminta untuk menuliskan pada kartu mengenai perubahan apa yang menurut mereka telah terjadi dalam suatu sektor yang terdampak oleh program dalam beberapa tahun terakhir. Kartu-kartu tersebut lantas dikelompokkan menurut kategori-kategori perubahan organisasional, perubahan kebijakan, perubahan praktis dan perubahan tingkah laku.

2.Mengidentifikasi pelaku kebijakan kunci dan 'mitra terkait' yang dianggap berpengaruh dalam proses (Gambar 2).

Peserta lokakarya diminta untuk memberikan nama semua pemain kunci dalam program diwilayahnya. Mereka kemudian diminta memilih beberapa hal yang menurut mereka akan memiliki dampak paling besar pada program tersebut, serta menuliskan alasan-alasannya pada kartu berwarna –kuning untuk pilihan pertama, hijau untuk pilihan kedua dan biru untuk pilihan ketiga. Kemudian nilai setiap pemangku kepentingan dihitung, dimana satu kartu kuning bernilai tiga poin, kartu hijau dua poin dan kartu biru satu poin.

3.Penjelasan perilaku para pelaku utama / mitra terkait yang berkontribusi pada perubahan dalam lingkungan kebijakan atau kebijakan, dan perilaku di awal skala waktu atau proyek (Gambar 3)

Peserta lokakarya dibagi kedalam beberapa kelompok untuk membahas secara spesifik siapa saja kelompok pemangku kepentingan yang ada, serta menuliskan tingkah laku mereka sekarang, tingkah laku pada tahun sebelum program, serta poin-poin kunci saat terjadinya perubahan ‘tingkah laku dan sikap’ antara periode program hingga sekarang dan kemudian menuliskannya dalam lembaran-lembaran kartu. Pada bagian belakang kartu tersebut dituliskan alasan penyebab perubahan tingkah laku tersebut, dan apa yang merupakan dampak dari suatu perubahan yang terjadi. Kartu-kartu tersebut lantas ditempelkan di dinding.

4.Memetakan perubahan-perubahan kunci dalam perilaku untuk masing-masing pelaku utama / mitra terkait dari awal skala waktu (atau proyek) (Gambar 4)

Setiap kaitan yang teridentifikasi dihubungkan dengan sebuah garis, kemudian alasan mengapa kedua faktor tersebut saling berkaitan lalu dicatat. Kartu-kartu tersebut dan hubungan yang terbentuk diproyeksikan ke dinding yang lain menggunakan Power Point. Karena tidak cukup waktu untuk menyelesaikan aktifitas ini pada hari kedua; kelompok yang lebih kecil menyelesaikan peta tersebut pada hari berikutnya.

5.Memetakan perubahan-perubahan kunci dalam proyek termasuk perubahan organisasional, output dan perubahan perilaku, dan pengaruh eksternal termasuk tindakan mitra strategis dan mitra eksogen lainnya, selama periode yang sama (Gambar 5)

6.Menentukan level dampak / pengaruh proyek pada perubahan perilaku para aktor / mitra kunci dan pengaruh eksternal pada perubahan perilaku dari pelaku utama / mitra dan proyek. (Gambar 6)

Gambar 1

Gambar 2

Gambar 3

Gambar 4

Gambar 5

Gambar 6

DAFTAR PUSTAKA

Hovland, Ingie. 2007. Membuat Perbedaan : Pemantauan dan Evaluasi Penelitian Kebijakan. Oversease Development Institute : UK, London.

Ryan, J. (n.d.) ‘State of the Art in Impact Assessment of Policy-Oriented Research in the CGIAR: A Scoping Study Report’, mimeo.

Oversease Development Institute. 2011. Rapid Outcomes assessment. UK, London

Bappenas. 2007.Pedoman Evaluasi Kinerja Pembangunan Sektoral. Jakarta