Penggunaan e-commerce berskala besar seperti Tokopedia pastilah memiliki tantangannya tersendiri seperti volume transaksi yang besar serta data yang datang dari berbagai sumber seperti aplikasi, situs web, pemasaran, dan penjual.
Dari penjelasan data warehouse di atas, dapat disimpulkan bahwa data warehouse memungkinkan Tokopedia untuk mengumpulkan, menyimpan, mengintegrasikan, dan menganalisis data dari berbagai sumber seperti transaksi, perilaku pengguna, dan inventaris.
Aplikasi Data Warehouse di Tokopedia
Dilansir dari Data Warehouse Lead Tokopedia, Maria Tjahjadi, beliau memodernisasikan data warehouse yang ada di Tokopedia dengan Google Cloud Dataflow dan BigQuery. Keduanya merupakan salah satu sistem Data Warehouse. Awalnya, Tokopedia menggunakan Relational Database Management System edisi gratis sebagai database pertamanya. Setelah beberapa waktu, akhirnya Tokopedia bermigrasi ke PostgreSQL untuk menambah ukuran dan cara kerja dari database mereka.
Perkembangan Tokopedia yang melejit membuat tim mereka menyadari bahwa sistem yang digunakan sekarang menggunakan sumber daya secara boros dan tidak efektif. Dengan masalah-masalah yang ada, tim mereka akhirnya memutuskan untuk mencari platform analisis big data yang mumpuni. Setelah pencarian, akhirnya mereka menemukan Google BigQuery.
Dalam perspektif arsitektur, pihak Tokopedia menggunakan Google BigQuery dengan kombinasi Cloud Dataflow untuk data processing dan Apache Airflow untuk scheduling. Dengan kombinasi unik tersebut, pemrosesan data menjadi simpel dan efektif.
Dalam proses migrasi menuju arsitektur baru, tim Tokopedia menghadapi beberapa masalah seperti dataset yang sangat besar, kekurangan personel, dan ketidakfamiliaran dengan sistem yang baru. Untuk menghadapi masalah tersebut, mereka membuat suatu Tim Data Warehouse yang resmi, mengambil kelas training, dan berkolaborasi dengan Tim Data Engineer.
Dengan sistem barunya, tim Tokopedia memiliki tim teknisi khusus sebanyak 6 orang yang dapat menjalankan proses analisis sebanyak 500 pekerjaan dalam waktu 2 bulan. Selain itu, mereka juga bereksperimen dengan berbagai Bahasa Programming seperti Python, Java, dan Scala.
Dengan digunakannya sistem Data Warehouse Modern yang baru, tim Tokopedia saat ini dapat menjalankan pemrosesan data dan analisis data secara cepat dan efektif.
Pengaplikasian Data Warehouse
Dengan adanya data warehouse yang efektif, tim Tokopedia dapat menjalankan analisis data yang beragam. Salah satu contohnya adalah menyediakan rekomendasi produk yang relevan berdasarkan perilaku pengguna dan tren belanja yang dianalisis dari data historis.
Hal ini dapat dilakukan dengan menggunakan data historis tentang interaksi pengguna dengan platform untuk memprediksi produk mana yang paling mungkin menarik minat pengguna tertentu.
Data warehouse menggabungkan riwayat pencarian, pembelian, serta produk yang sering dilihat. Hal ini termasuk data kategori produk, harga, serta lokasi dan waktu pembelian pengguna.
