Dilansir dari Ilham Mubarok, A/B testing adalah eksperimen terhadap dua variabel (halaman website) atau lebih yang dilakukan secara bersamaan untuk melihat variabel mana yang memberikan performa terbaik. Performa di sini diukur dengan tingkat konversi (conversion rate), halaman mana yang menghasilkan tingkat konversi (conversion rate) lebih tinggi.
A/B Testing pada dasarnya adalah eksperimen di mana dua atau lebih varian laman ditampilkan kepada pengguna secara acak, dan menggunakan analisis statistik digunakan untuk menentukan variasi mana yang berkinerja lebih baik untuk sasaran konversi tertentu. Analisis statistik yang dapat digunakan yaitu analisis deskripsi dan analisis inferensi. Berikut adalah penjelasannya.
- Analisis deskriptif bertujuan untuk memberikan deskripsi atau gambaran mengenai subjek penelitian berdasarkan data variabel yang diperoleh dari kelompok subjek tertentu
- Analisis inferensi digunakan untuk pengambilan kesimpulan tentang parameter populasi berdasarkan analisis pada data sampel.
Dalam dunia bisnis khususnya e-commerce, perusahaan perlu mengetahui bagaimana produknya diterima oleh pelanggan. Dan perusahaan mengumpulkan data dan data tersebut digunakan untuk menganalisis kunjungan situs web dan mengetahui jumlah pengunjung pada situs web dimana semakin tinggi pengunjung di situs web maka semakin besar juga untuk ekspansi bisnis (memperoleh pelanggan baru dan meningkatkan hubungan dengan yang sudah ada) sehingga suatu perusahaan dapat mengevaluasi dan mengambil kebijakan atau tindakan (konversi) seperti apakah perusahaan harus menerapkan halaman web baru (new landing page) atau tetap menjalankan halaman web lama (old landing page) dalam mengingkatkan tingkat konversi halaman website untuk keberlangsungan bisnis suatu perusahaan. Selain itu, data juga digunakan untuk memahami perilaku pengguna, tingkat keterlibatan, poin kesulitan, dan bahkan kepuasan dengan fitur situs web, termasuk fitur baru, bagian halaman yang diubah, dll .
Seiring berjalannya waktu, Perusahaan kelas online (e-commerce) ingin melakukan proses baru pada halaman arahan di situs web mereka dan ingin menjual lebih banyak kelas online mereka. Dimana halaman website perusahaan tersebut memiliki halaman web dua jenis yaitu halaman lama (old landing page) dan halaman baru (new landing page). Pada halaman lama (old landing page), hanya memiliki "Mulai Uji Coba Gratis" di mana siswa akan dimintai informasi kartu kredit, kemudian mereka akan terdaftar dalam uji coba gratis dalam 14 hari. Setelah 14 hari, mereka akan dikenakan biaya kecuali dibatalkan. Sedangkan pada halaman baru, siswa akan melihat "Akses Materi Kursus", di mana siswa dapat mengakses video dan materi pembelajaran tanpa informasi kartu kredit. Setelah 14 hari, mereka akan mendapatkan notifikasi untuk mengupgrade akun mereka ke versi berbayar jika mereka ingin melanjutkan belajar. Akan tetapi, perusahaan mengalami kesulitan dalam menentukan halaman web yang menghasilkan konversi yang lebih baik.Â
Dan dalam menjawab permasalahan ini, mahasiswa KKN program Studi Independen dari Generasi GIGIH 2.0 Yayasan Anak Bangsa Bisa hadir dengan melakukan A/B Testing pada data e-commerce sebagai salah satu cara untuk mengevaluasi situs web dengan melakukan eksperimen skala besar untuk mengevaluasi kinerja dua kelompok pengguna menggunakan dua desain yang berbeda, salah satunya akan berfungsi sebagai kontrol dan yang lainnya sebagai kondisi eksperimental, yaitu desain baru yang diuji. Sehingga dapat membantu perusahaan dalam mengambil suatu tindakan (konversi) atau menentukan variasi mana yang berkinerja lebih baik.
Langkah awal yang dilakukan yaitu dengan membuat rumusan masalah dan menentukan tujuan masalah yang akan dipecahkan. Sebelum melakukan analisis, sangat penting untuk mengetahui permasalahannya dan menentukan tujuan agar bisa terarah dalam menyelesaikannya. Kedua, melakukan pengenalan data yang akan diolah. Â Hal ini perlu dilakukan agar kita mengetahui apa saja yang termuat dalam kumpulan data yang telah dilakukan oleh perusahaan. Ketiga, memebuat desain eksperimen A/B Testing. Yang diperlukan adalah menentukan hipotesis yang dirumuskan, variabel yang akan digunakan, dan eksperimen monitoring yang akan dilakukan. Setelah desain eksperimen tersebut dirumuskan, selanjutnya yaitu melakukan analisis A/B Testing dengan menggunakan analisis deskriptif dan analisis inferensi. Dan langkah terakhir adalah menghitung interval keyakinan dari analisis yang telah dilakukan.
Mahasiswa program Studi Independen (peserta) Generasi GIGIH 2.0 Yayasan Anak Bangsa Bisa telah melakukan analisis tersebut dengan langkah - langkah yang telah dijelaskan sebelumnya dan hasil analisisnya yaitu halaman web lama yang akan mempengaruhi konversi yang lebih baik dengan fitur  "Mulai uji coba gratis", di mana siswa akan dimintai informasi kartu kredit, kemudian mereka akan terdaftar dalam uji coba gratis dalam 14 hari dan setelah 14 hari, mereka akan dikenakan biaya kecuali dibatalkan dengan interval kepercayaan 95% untuk rata-rata populasi pengguna halaman web lama (control group) berada diantara 0,119 dan 0,122. Sedangkan untuk rata-rata populasi pengguna halaman web baru (treatment group) berada diantara 0,117 dan 0,121.
Selain itu, peserta memberikan beberapa saran upaya yang sebaiknya dilakukan oleh perusahaan yaitu sebagai berikut.
- Melanjutkan alur paket langganan menggunakan halaman web lama karena memiliki tingkat konversi lebih tinggi daripada yang lain.
- Memberikan konfirmasi melalui email dan push notification mengenai masa berlaku langganan kelas minimal 1 minggu sebelum berakhir agar konsumen dapat melakukan repeat order.
- Menambah metode pembayaran lain seperti pembayaran melalui e-money (Go-pay, OVO, DANA, Shoppepay) untuk membuat cluster konsumen baru.
- Memberikan tawaran baru atau paket langganan baru seperti paket grup berisi 3 orang agar bisa digunakan untuk belajar bersama dan mendapatkan inovasi fitur baru yang lebih seru.
- Mengadakan fitur feedback untuk mengetahui masalah yang harus ditangani agar solusi atau inovasi yang diterapkan bisa memberikan dampak.
Seiring berjalannya waktu, dengan diadakannya analisis data e-commerce menggunakan A/B Testing oleh peserta Generasi GIGIH 2.0 Yayasan Anak Bangsa Bisa dapat membantu perusahaan tersebut dalam mengambil atau menentukan keputusan yang dapat meningkatkan conversion rate website kelas online mereka menjadi lebih baik lagi.Â
