“Meta-research is the synthesis of empirical research results into more general conclusions at a theoretical level.” (Roger, 2003: 133).
“Mille vie ducunt hominem per secula Romam,” banyak jalan menuju Roma, kata penyair Perancis, Alain de Lille (1175 M). Ada berbagai cara untuk mencapai suatu kesimpulan, ada banyak cara untuk mencapai suatu tujuan, dan ada banyak jalan untuk sampai pada suatu keputusan. Demikian juga dalam ilmu pengetahuan, banyak cara, jalan atau metode untuk menghasilkan sebuah penemuan ilmiah (scientific discovery). Apakah berupa penemuan fakta, konsep, rumus, metode, model, definisi, generalisasi, prinsip, teorema, dalil, hukum, teori, dan/atau paradigma ilmiah.
Selama ini, ikhtiar ke arah penemuan ilmiah yang popular diantaranya melalui metode atau prosedur uji-verifikasi (Bacon, 1620), uji-falsifikasi (Popper, 2005), uji-verifikasi-falsifikasi dan eksperimen anomali (Kuhn, 1970), dan/atau uji-makna (Hempel, 1952). Metode atau prosedur tersebut (kecuali uji-makna) lebih berorientasi pada ikhtiar untuk menemukan kesalahan, untuk kemudian mengeliminasi dan membersihkannya sehingga diperoleh teori-teori yang semakin “bebas” dari kesalahan. Bisa jadi, metode atau prosedur terinspirasi oleh diktum metodologis akut Bacon, bahwa kebenaran itu lebih mudah ditemukan dari kesalahan daripada kekacauan (Truth emerges more readily from error than from confusion) (Bacon, 1620).
Jarang kita memasukkan meta-riset atau meta-analisis (meta-analysis) sebagai metode atau prosedur lain yang bisa menghasilkan sebuah penemuan ilmiah. Mungkin karena meta-analisis masih sebatas dipahami dan dipraktikkan sebagai metode riset-sintesis, atau bisa jadi karena eksemplar-eksemplar yang tersedia hingga berujung pada penemuan ilmiah yang sangat sedikit atau langka, bisa jadi juga karena hasil-hasil penelitian tidak tersedia secara memadai untuk dilakukan meta-analisis untuk tujuan penemuan ilmiah.
Meta-Analisis: Penemuan Ilmiah Berbasis Riset
Akar historis penggunaan metode meta-analisis dapat dilacak pada karya Karl Pearson (1904) dalam kajian medis (klinis) berjudul “On the Theory of Contingency and its Relation to Association and Normal Correlation,” yang mengumpulkan, menganalisis, dan mengintegrasikan data temuan dari beberapa studi klinis tentang inokulasi tifoid. Tetapi, istilah meta-analisis diperkenalkan pertama kali oleh Gene V. Glass (1976) berjudul “Primary, Secondary, and Meta-Analysis of Research”.
Menurut Glass, meta-analisis (meta-analysis of research) adalah analisis atas hasil-hasil analisis (analysis of analyses), dan merupakan analisis data tertier (tertiary analysis). Analisis primer (primary analysis) adalah analisis terhadap data asli/orisinal hasil penelitian. Analisis sekunder (secondary analysis) adalah re-analisis terhadap data asli/orisinal untuk menjawab pertanyaan penelitian tingkat pertama dengan menggunakan teknik analisis yang lebih baik, atau menjawab pertanyaan/masalah baru menggunakan data lama (yang sudah ada). Analisis kedua ini lazim dalam penelitian evaluasi dan merupakan fitur penting dalam suatu penelitian.
Hedges dan Olkin (1985) mengategorikan metode meta-analisis sebagai teknik analisis sekunder, karena teknik ini menitikberatkan pada upaya untuk menyintesiskan atau mengintegrasikan hasil-hasil penelitian primer sebelumnya baik yang bersifat internal-keilmuan dan/atau lintas-keilmuan, terkait dengan topik atau kajian tertentu. Karenanya, meta-analisis juga sering disebut “sintesis riset” (research synthesis). Meta-analisis merupakan metode penelitian yang dilakukan untuk memperoleh ekstraksi, ikhtisar, ringkasan informasi/pengetahuan yang terdapat di dalam hasil-hasil penelitian yang melimpah.
Signifikansi teoretis dan praktis dari meta-analisis bagi ilmuwan (ahli teori) dan manajemen sebagai berikut.
Pertama, meta-analisis bermanfaat untuk mengevaluasi dan mengoreksi kesalahan, perbedaan atau variasi, validitas yang mungkin ada pada studi-studi sebelumnya, dan menganalisis besar-kecilnya effect-sizes dari kemungkinan terjadinya kesalahan sampel (sampling error) dan/atau kesalahan pengukuran (measurement error). Meta-analisis dilaksanakan dalam dua tahapan yang disebut bare-bones meta-analysis (Hunter & Schmidt, 1990; Glass, 1976). Pertama: mengoreksi artifak-artifak yang informasinya tersedia pada semua studi yang akan dilakukan meta-analisis (variabel, standar deviasi, sampel, dll.). Kedua: mengoreksi artifak-artifak yang informasinya hanya tersedia secara random atau sporadik pada sejumlah studi (tidak semua studi) yang akan dimeta-analisis. Sehingga, peneliti dapat membedakan hasil dari studi yang berbeda dan mengidentifikasi pola di antara hasil studi, sumber ketidaksepakatan di antara hasil tersebut, atau hubungan menarik lainnya yang mungkin terungkap dengan beberapa studi.
Manfaat pertama ini, memungkinkan meta-analisis: 1) memberikan bukti ilmiah yang terkuat tentang efek dari intervensi atau paparan di antara semua desain studi, 2) meningkatkan validitas internal, 3) memperluas kemampuan penerapan bukti (generalizability, validitas eksternal, reliabilitas), 4) mengatasi masalah inkonsistensi/ kontroversi hasil studi primer, 5) mengurangi kesalahan random, meningkatkan presisi estimasi, meningkatkan kuasa statistik (statistical power), dan 6) memfasilitasi praktisi dalam menggunakan bukti riset dalam praktik berbasis bukti (evidence-based practice) (Murti, 2021; Rogers, 2003).
Kedua, meta-analisis bermanfaat untuk menyusun peta penelitian (roadmap) untuk topik-topik tertentu dari suatu bidang keilmuan, untuk selanjutnya memetakan state of the art (SoTA) dari topik atau bidang kajian tertentu. SoTA juga seringkali digantikan dengan istilah “Cutting Edge” atau “Leading Edge” yang berarti “the most current research in a given area or concerning a given topic. It often summarizes current and emerging practical trends, research priorities and standardization in a particular field of interest” (Elsevier.com)”. Kegiatan ini lazim dan menjadi bagian tak terpisahkan dalam setiap kegiatan penelitian, tatkala seorang peneliti menyusun Latar Belakang dan Tinjauan Pustaka (literature review) (Susanto, 2021).
Ketiga, meta-analisis bermanfaat untuk merumuskan generalisasi dan/atau teori ilmiah terkait dengan suatu bidang kajian dari disiplin ilmu, sebagai penemuan baru (novelty/ies). Mengutip Cooper dan Hedges (1994), meta-analisis ini ibarat pembuat batu bata dan hodcarrier dari serikat ilmu pengetahuan, yang tugas utamanya adalah menata batu bata sesuai dengan rencana dan menerapkan mortar yang menyatukannya menjadi sebuah struktur bangunan keilmuan yang utuh, terintegrasi.
Dengan kata lain, meta-analisis merupakan ikhtiar ilmiah untuk merumuskan simpulan-simpulan yang lebih general hingga pada tataran teori melalui teknik inventori proposisi. Dengan teknik ini, limpahan informasi/pengetahuan dengan segala keberagamannya yang secara parsial dan diferensial diperoleh dari penelitian-penelitian individual, yang mungkin saja beberapa diantaranya belum dimanfaatkan, bisa diberikan “makna lebih.” Hal mana sulit, bahkan tidak mungkin untuk dilakukan dan dicapai dengan metode riset yang lain (Rogers, 2003)
Keempat, membantu pada pimpinan atau pengambil kebijakan dalam membuat kebijakan atau keputusan berbasis riset. Meta-analisis bisa menyediakan bukti-bukti penelitian yang sudah terkonfirmasi yang dapat dijadikan dasar pijakan kuat untuk merumuskan keputusan/kebijakan atau masalah-masalah praktis (Dias, et al., 2018).
Beberapa Eksemplar Meta-Analisis
Dalam konteks keilmuan, manfaat kedua dan ketiga lah yang terkait langsung dengan kisah penemuan ilmiah. Dalam tulisan ini, akan difokuskan pada butir kedua yaitu meta-analisis untuk tujuan menemukan dan merumuskan generalisasi dan/atau teori ilmiah, yang merupakan salah satu unsur dari paradigma (Kuhn, 1970).
Kajian ini sangat penting, karena dalam sejumlah studi meta-analisis, aspek kedua ini jarang diungkap. Padahal, ada sejumlah meta-analisis dari para peneliti/pakar yang berhasil merumuskan generalisasi-generalisasi berbasis meta-analisis. Diantaranya adalah karya Gardner, Rogers, dan Fullan.
Howard Gardner dalam karyanya Frames of Mind (1983) dan Intelligence Reframed (1999) mengajukan teori bahwa belajar terjadi melalui banyak tipe kecerdasan atau “kecerdasan majemuk” (multiple intelligences). Teori Gardner ini merupakan penemuan baru dalam konseptualisasi dan asesmen kecerdasan manusia, sekaligus menantang teori kecerdasan kognitif sebelumnya dari Jean Piaget (2000), yang dipegang secara luas di kalangan ahli kognitif. Bahwa kecerdasan manusia merupakan bawaan sejak lahir, dan merupakan kapasitas umum tunggal yang dimiliki setiap individu.
Teori Gardner ini merupakan hasil meta-analisis (walaupun Gardner tidak secara tegas mengatakan) atas opini, kumpulan anekdot, dan laporan dari sejumlah besar projek ilmiah menarik yang saat itu (mungkin juga saat ini) sedang berlangsung di berbagai laboratorium psikologi. Garder juga mengkaji banyak data dari hasil penelitian ilmu saraf, antropologi, sastra biografi, sejarah, pendidikan, humaniora, dan disiplin ilmu lainnya. Selain juga dilengkapi dengan hasil penelitiannya sendiri yang diperoleh melalui wawancara dan penelitian tentang cara kerja otak pada ratusan orang. Termasuk korban stroke, anak berbakat, penderita autis, dan apa yang disebut “savants idiot”.
Karl R. Rogers (2003) dalam karyanya yang monumental “Diffusion of Innovations”. Dalam teorinya tersebut, Rogers membangun teori tentang apa, mengapa, bagaimana gagasan-gagasan dan teknologi baru (inovasi) bisa tersebar dan diterima (difusi dan adopsigeneralisasi) oleh masyarakat. Menurutnya ada lima unsur yang mempengaruhi cepat-lambat difusi dan adopsi sebuah inovasi, yaitu atribut-atribut inovasi itu sendiri, karakteristik penerima (adopter), kanal-kanal komunikasi, waktu (tahapan sejak difusi awal hingga konfirmasi), dan sistem sosial.
Seperti halnya Gardner, meta-analisis Rogers dilakukan terhadap 3.085 publikasi tentang difusi inovasi (teknologi, produk, gagasan, program, dll.), terdiri dari 2,445 hasil penelitian empirik (survei, wawancara, eksperimen lapangan); 140 hasil analisis data sekunder; dan 500 bibliografi, sintesis, tulisan teoretis (hasil pemikiran) dan publikasi-publikasi non-empirik. Dengan sangat lengkap dan cermat, Rogers melacak jejak-jejak penelitian tentang difusi dari yang paling awal di Eropa (abad ke-19), hingga munculnya beragam tradisi atau paradigma riset difusi dari tradisi antropologi, sosiologi awal, sosiologi pedesaan, pendidikan, sosiologi medis dan kesehatan publik, komunikasi, pemasaran, geografi, sosiologi umum, dan tradisi-tradisi lain pada abad ke-20.
Melalui meta-analisis, Rogers menganalisis, dan membuat sintesis dan integrasi 103 generalisasi yang dihasilkan oleh berbagai studi menjadi 91 generalisasi konklusif yang lebih general, dan sekaligus dijadikan sebagai pengorganisasi bukunya. Dalam kajian ilmu komunikasi, teori difusi inovasi Rogers ini merupakan salah satu karya intelektual yang monumental, dan menjadi salah satu Grand Theory. Karyanya juga merupakan eksemplar meta-analisis paling representatif untuk kemudian menghasilkan simpulan-simpulan yang lebih umum dalam bentuk generalisasi- generalisasi.
Michael Fullan (2007) adalah seorang “the archetypical action-oriented intellectual”, yang dengan lengkap dan rinci menjelaskan tentang bagaimana perubahan di sektor pendidikan bisa gagal dan/atau sukses dalam karyanya “The New Meaning of Educational Change.” Fullan menggabungkan antara "makna" (meanings) dan "tindakan" (action) untuk mencapai perbaikan dalam skala berkelanjutan yang belum pernah dialami sebelumnya. Di dalamnya melibatkan aspek-aspek seperti pengembangan kapasitas, pembelajaran dalam konteks, pengembangan kapasitas lateral, keberlanjutan, dan pemimpin sistem dalam tindakan—yakni para pemimpin di semua tingkatan terlibat dalam mengubah sistem, mengubah konteks mereka sendiri.
Seperti halnya Gardner, Fullan juga tidak secara tegas menyatakan karyanya merupakan hasil meta-analisis, melainkan sebagai “major review of research” terhadap berbagai studi-kasus dan bukti-bukti penelitian lainnya tentang kegagalan reformasi di sektor pendidikan di Amerika yang menurutnya sangat kompleks, selama 40an tahun sejak 1960an hingga awal 2000an. Review difokuskan pada aspek perubahan kurikulum, komputer, pembelajaran kooperatif, pendidikan khusus, restrukturisasi sekolah, pendidikan guru, inovasi tingkat sekolah dan distrik, dan kebijakan pendidikan di tingkat nasional dan negara.
Bermula dari ini pula, Fullan menawarkan urgensi realitas subjektif dari setiap individu (pebelajar, pembelajar, orang tua, anggota komunitas, kepala sekolah satuan pendidikan, dan pejabat pendidikan lokal bagi keberhasilan proses perubahan pendidikan) pada semua tingkatan sistem pendidikan sebagai “makna baru” (new meaning) agar reformasi pendidikan berhasil, melembaga, dan berkelanjutan, serta tidak hanya bersifat superfisial. Bahwa setiap individu tidak bisa hanya diposisikan sebagai “participants in a process of change”, melainkan sebagai “agents in a process of change”.
John Hattie adalah ilmuwan dan peneliti yang menghasilkan paling banyak karya dalam kajian meta-analisis. Diantaranya adalah Visible Learning: A synthesis of over 800 meta-analyses relating to achievement (Hattie, 2008), Visible Learning for Teacher: Maximizing impact on learning (Hattie, 2012); Visible Learning into Action (Hattie, Masters, & Birch, 2016).
Karya-karya meta-analisis Hattie tersebut, merupakan eksemplar lain hasil karya lebih dari 25 tahun melakukan kajian sintesis-riset terhadap lebih dari 1.700 meta-analysis, dengan membandingkan lebih dari 100.000 hasil penelitian lapangan yang melibatkan 300 juta siswa di seluruh dunia terkait dengan faktor/variabel yang berpengaruh terhadap pencapaian (prestasi) belajar siswa di sekolah. Dari hasil kajiannya terhadap aspek skor ukuran dampak (effect size) dari setiap hasil studi yang dimeta-analisis, Hattie mengidentifikasi lebih dari 250 faktor/variabel yang berpengaruh terhadap keberhasilan belajar siswa, dengan rerata effect size sebesar 0.40 dari seluruh hasil studi yang dimeta-analisisnya (Hattie, 2018).
Area kajiannya meliputi pengaruh siswa, rumah, sekolah, kurikulum, guru, dan strategi pengajaran. Hasil sintesisnya menghasilkan sebuah konstruksi model teoretik dan praktik tentang pembelajaran yang berhasil, yang dia label sebagai “visible learning”. Esensi dari teori Hattie adalah bahwa peristiwa pembelajaran akan terjadi jika guru melihat peristiwa belajar dari mata/perspektif pebelajar (siswa) dan membantunya menjadi guru (pebelajar) bagi dirinya sendiri. Menurut Hattie, ada tiga dimensi dalam visible learning. Pertama, visible, jika “making student learning visible to teachers” dengan segala keberagaman/keberbedaan siswa sebagai pebelajar. Kedua, visible, jika “making teaching visible to the student”, sehingga siswa sebagai pebelajar seakan menjadi guru bagi dirinya sendiri. Ketiga, learning bisa terjadi, jika “we go about knowing and understanding, and then doing something about student learning,” bukan hanya guru, tetapi semua yang terlibat dalam proses belajar siswa (Hattie, 2018:1).
Salam
Semoga menginspirasi.
Tangsel, 21 Januari 2022
Baca konten-konten menarik Kompasiana langsung dari smartphone kamu. Follow channel WhatsApp Kompasiana sekarang di sini: https://whatsapp.com/channel/0029VaYjYaL4Spk7WflFYJ2H
