Vox Pop : Konsep Proses dan Trend Pengembangan Big Data (1)

Sebelum membahas pengertian big data, berbagai sumber data yang disarikan dalam hostingtribunal.com menyediakan data berikut sebagai gambaran terkait industry berbasis data yang mekin berkembang. Berikut adalah beberapa contoh gambaran nya: • Penggunaan search engine google mencapai 40.000 search querries per detik atau 1,2 trillion pencarian dalam setahun; • Aplikasi penyiaran video Youtube menyajikan hampir 300 jam video baru per menit. Data dari Youtube yang tersimpan di server nya mencapai 1 exabyte (1 billion GB); • Pengguna mengupload 100 TB data melalui facebook per hari. Setiap menit, pengguna FB mengirimkan 31 milhyar pesan dan menonton 2,7 juta video; • Pengolahan data bigdata menunjukkan bahwa setiap orang menggunakan HP nya untk keperluan pengambilan foto (80%), dengan asumsi jumlah gadget yahg berdar di pasar saat ini, terdapat kebutuhan untuk penyimpanan data yang besar untuk waktu ke depan; • Peralatan pintar seperti smartwatch, smartfitness dan sejenisnya, memproduksi 5 QB data per hari; • Prediksi penyimpanan data berbasis cloud akan meningkat, estimasi pengguna akan menyimpan 30% datanya dalam server berbasis cloud; • Google menggunakan arsitektur server bigdata yang memungkinkan dia untuk menggunakan 1.000 server secara kolabroasi untuk menyediakan search engines yang digunakan saat ini. Metode open source untuk kolaborasi komputasi juga digunakan oleh perusahaan Hadoop yang selama ini menunjukan annual growth rate bisnisnya sebesar 58%; Terlepas dari perkembangan pesat yang dicapai sampai saat ini, belum ada definisi baku mengenai big data. Namun demikian, terdapat kesepahaman stakeholder mengenai Konsep atau pengertian big data itu sendiri. 

Secara praktis, big data adalah kumpulan data yang diolah oleh institusi tertentu untuk keperluan penyajian informasi seperti machine.
Learning, proyeksi dan modelling serrta berbagai kebutuhan lain yang bersifat advance. Big data sebagaimana tipikal data, membutuhkan kapasitas storage. Sebagaimana istilah nya, big data membutuhkan kapasitas storage yang tinggi (terra byte sampai exabytes). 

• Velocity 

Velocity mencerminkan kecepatan proses pengumpulan, pengolahan dan analisa data (generation process). Dalam prakteknya, kumpulan big data dilakukan update berdasarkan real time basis atau mendekati real time atau juga periode harian, mingguan dan bulanan melalui berbagai data warehouse. Proses tersebut membutuhkan kemampuan pengelolaan data yang juga memahami ketersediaan data yang dioleh berikut karakter nya. Pengelolaan data velocity penting dalam analisa big data yang dikembangkan untuk penggunaan machine learning dan atau AI dimana proses analisa otomatis akan mengidentifikasi pola pola yang dicari dalam data untuk dianalisa lebih lanjut. 

• Variety

 Variety menunjukkan tipe tipe data yang dikumpulkan dan diolah. Pada umumnya terbgai atas data structured, unstructured dan semi structured data. Structured data disimpan dan diolah dalam database atau data warehouse menggunakan structured query language (SQL). Unstructured data yang pada umumnya berbentu teks dan dokumen biasa disimpan dalam Hadoop atau NoSQL database system. Semi structured data yang berbentuk web server logs atau streaming data pada umumnya dapat disimpan di datalake atau cloud storage. 

• Veracity Data 

veracity mengacu pada verifikasi dan validasi kumpulan data yang diolah. Kumpulan data mentah yang diperoleh dari berbagai sumber (contoh media platform atau webpages) dapat mengakibatkan pertanyaan terkait kualitas data atau seberapa data tersebut dapat dipercaya validitasnya. Karena terdiri dari kumpulan data yang ber volume besar, dibutuhkan proses untuk mencari dan menambang data yang tidak valid tersebut untuk kemudin dilakukan penyesuaian. Data yang berkualitas rendah akan mengakibatkan analisa yang tidak akurat sehingga proses pembersihan data harus dilakukan di awal, sebelum dilakukan pengolahan data lebih lanjut. 

• Value Masih ada keterkaitan dengan veracity, hanya data yang sudah melalui proses pembersihan di awal dapat dikatakan memiliki value sesuai kualitas nya. Data yang tidak memiliki verifikasi tinggi atau tidak dapat digunakan lebih lanjut karena isu validitas, dikatakan tidak memiliki value bagi perusahaan. Dengan demikian, proses data cleansing adalah proses awal yang perlu dilakukan untuk memaksimumkan value data bagi perusahaan.

 • Variability Variasi data (variability) mengacu pada kondisi kumpulan data yang berbeda satu sama lain. Perbedaan tersebut dapat digunakan untuk berbagai keperluan sesuai  dengan format masing masing dan dapat diartikan berbeda satu sama lain. Variability data pada umumnya meningkatkan komplikasi dalam proses dan analisa data.

Pentingnya Bigdata bagi perusahaan

Perusahaan menggunakan dan mengakumulasi data dalam system informasi mereka dengan tujuan untuk meningkatkan kemampuan operasional, menyediakan pelayanan yang lebih baik bagi konsumen, menciptakan strategi marketing yang personal sehingga sesuai dengan preferensi konsumen individual, yang pada akhirnya akan meningkatkan profitabilitas. Terdapat pemahaman bahwa perusahaan yang memanfaatkan big data, memikiki keunggulan kompetitif disbanding perusahaan yang tidak menggunakan data tersebut, dengan catatan bahwa penggunaan data nya efisien dan efektif. Contoh sederhana adalah kemampuan perusahaan untuk mengirimkan pesan personal kepada konsumen nya pada momen tertentu (ulang tahun, anniversary, waktu liburan dan lain lain) dengan tujuan meningkatkan awareness, engagement dan berujung pada conversion rates (konsumen melakukan konsumsi ulang). Big data juga telah digunakan untuk kepentingan medis, utamanya dalam proses diagnosis penyakit dan faktor faktor resiko lini. Data dari health record yang digabung dengan informasi di social media dan berbagai sumber digital lainya, akan memberikan informasy yang dibutuhkan tim medis, pengelola fasilitas kesehatan dan pemerintah. Dalam industry energi, big data membantu perusahaan minyak dan gas dalam proses eksplorasi dan eksploitasi. Perusahaan jasa keuangan menggunakan system pengolaan big data untuk mitigasi resiko dalam konteks manajemen resiko dan analisa kondisi pasar secara real time. Konsep pengelolaan kota dengan smart city jiga mengandalkan feeding big data untuk melakukan monitoring dan pengambilan kebijakan.

Penggunaan Big Data 

Beberapa contoh dalam pemanfaatan informasi dari proses big data adalah sebagai berikut: 

• Analisa komparasi. Proses analisa terhadap perilaku konsumen/individual menggunakan metrics kuantitatif, termasuk didalamnya adalah observasi perilaku yang bersifat real time. Tujuanya adalah untuk melakukan perbandingan produk, jasa, servis yang ditawarkan perusahaan dengan pesaing nya; 

• Observasi sosial media. Konsumen atau pelanggan kerapkali menginformasikan kesan dan tanggapan terhadap produk tertentu di sosial media. Informasi ini akan ditarik oleh data analis untuk digunakan sebagai feedback bagi perusahaan. Dengan mem profil kan tipe konsumen, berdssarkan data struktur, perusahaan dapat mengidentifikasi tipe pelanggan nya berdasarkan usia, profesi, penghasilan dan berbagai indicator sosial lainya. 

• Analisa Pemasaran  

Penggunaan big data untuk keperluan pemasaran strategis meliputi target konsumen, wilayah sampai pada produk desain dan strategi kampanye atau advertensi. 

• Analisa kepuasan konsumen Dengan melakukan komunikasi langsung dan personal terhadap konsumen, perusahaan dapat memperoleh feedback untuk melakukan analisa kepuasan konsumen. Dari analisa terdsebut dapat dilanjutkan untuk proyeksi retensi atau menahan konsumen supaya tidak berpaling ke produk pesaing dan tetep akan membeli produk perusahaan ketika membutuhkan.

Kebutuhan pengelolaan bigdata yang termasuk dalam proses pengolahan dan penyimpanan untuk perusahaan mensyaratkan pembangunan infrastruktur MIS. Spesifikasi hardware berupa komputer dan server dengan kemampuan memproses data dalam volume besar dalam berbagai tipe dengan tingkat kecepatan yang tinggi tidak dapat dilakukan oleh perangkat hardware standar. Diperlukan rangkaian computer dengan rangkaian server yang terkoneksi (jaringan server) untuk melakukan proses pengolahan secara kolaboratif. Untuk membangun jaringan hardware dengan infrastruktur MIS yang memadai juga merupakan tantangan tersendiri bagi perusahaan. Ketersediaan cloud computing yang bersifat publik membantu peruahaan untuk melakukan proses pengolahan dan penyimpanan big data secara efisien. 

Jasa akses terhadap cloud computing berbasis penggunaan, dimana perusahaan akan membayar fee terkait penggunaan big data yang disimpan dalam cloud server dengan basis biaya per akses dan fee storage. Beberapa perusahaan yang menyediakan cloud computing untuk mendukung big data management anatara lain adalah: 

Input Keterangan & Sumber Gambar (Contoh: Foto Langit Malam (Sumber: Freepik/Kredit Foto))

• Microsoft Azure HDInsight • Google Cloud Dataproc • Amazon EMR Perusahaan dapat mengembangkan MIS big data mereka sendiri (private) dengan menggunakan teknologi yang dikembangkan oleh beberapoa provider seperti Cloudera  HortonWorks atau HP Enterprise dengan teknologi MapR yang diakuisisi pada Agustus 2019.