Sejalan dengan pernyataan Neelie Kroes tersebut, kini, manajemen data bukan lagi hanya menjadi kompetensi yang penting bagi suatu organisasi, melainkan telah menjadi bagian kritis yang berperan sebagai penentu kemenangan dalam penguasaan pasar maupun dalam pencapaian misi. Saat ini, perusahaan-perusahaan Fortune 1000 dan institusi-institusi pemerintah telah mulai memetik keuntungan dari inovasi-inovasi yang telah dikembangkan oleh para pionir dalam bisnis web services. Para decision maker pada organisasi-organisasi tersebut sedang berupaya untuk mengembangkan inisiatif baru dan mengevaluasi strategi-strategi yang mereka miliki demi menemukan cara bagaimana mereka dapat memanfaatkan Big Data untuk mengembangkan bisnisnya. Dalam proses tersebut, mereka pun belajar untuk memahami apa itu Big Data; mulai dari definisi Big Data, jenis-jenis teknologi Big Data, manfaat yang mungkin diperoleh dari implementasi teknologi Big Data, hingga bagaimana memilih teknologi Big Data yang tepat bagi kebutuhan mereka.
Mengingat kembali Definisi Big DataUntuk membahas apa itu Big Data, baiknya dimulai dari kesepakatan tentang definisi Big Data itu sendiri. Big Data bukanlah sebuah teknologi, teknik, maupun inisiatif yang berdiri sendiri. Big Data adalah suatu trend yang mencakup area yang luas dalam dunia bisnis dan teknologi. Big Data menunjuk pada teknologi dan inisiatif yang melibatkan data yang begitu beragam, cepat berubah, atau berukuran super besar sehingga terlalu sulit bagi teknologi, keahlian, maupun infrastruktur konvensional untuk dapat menanganinya secara efektif. Dengan kata lain, Big Data memiliki ukuran (volume), kecepatan (velocity), atau ragam (variety) yang terlalu ekstrim untuk dikelola dengan teknik konvensional.
Big Data melibatkan proses pembuatan data, penyimpanan, penggalian informasi, dan analisis yang menonjol dalam hal volume, velocity, dan variety.
1. Volume (Ukuran). Pada tahun 2000 lalu, PC biasa pada umumnya memiliki kapasitas penyimpanan sekitar 10 gigabytes. Saat ini, Facebook menyedot sekitar 500 terabytes data baru setiap harinya; sebuah pesawat Boeing 737 menghasilkan sekitar 240 terabytes data penerbangan dalam satu penerbangan melintasi Amerika; makin menjamurnya penggunaan ponsel pintar (smartphone), bertambahnya sensor-sensor yang disertakan pada perangkat harian, akan terus mengalirkan jutaan data-data baru, yang terus ter-update, yang mencakup data-data yang berhubungan dengan lingkungan, lokasi, cuaca, video bahkan data tentang suasana hati si pengguna ponsel pintar.
2. Velocity (kecepatan). Clickstreams maupun ad impressions mencatat perilaku pengguna Internet dalam jutaan event per detik; algoritma jual-beli saham dalam frekwensi tinggi dapat mencerminkan perubahan pasar dalam hitungan microseconds; proses-proses yang melibatkan hubungan antara suatu mesin dengan mesin lainnya telah melibatkan pertukaran data antar jutaan perangkat; peralatan sensor dan perangkat-perangkat pada infrastruktur menghasilkan log data secara real time; sistem game online dapat melayani jutaan pengguna secara bersamaan, yang masing-masing memberikan sejumlah input per detiknya.
3. Variety (ragam). Big Data tidak hanya menyangkut data yang berupa angka-angka, data tanggal, dan rangkaian teks. Big Data juga meliputi data-data ruang / geospatial, data 3D, audio dan video, dan data-data teks tak berstruktur termasuk file-file log dan media sosial. Sistem database tradisional didesain untuk menangani data-data berstruktur, yang tak terlalu sering mengalami update atau updatenya dapat diprediksi, serta memiliki struktur data yang konsisten yang volumenya tak pernah sebesar Big Data. Selain itu, sistem database tradisional juga didesain untuk digunakan dalam satu server yang berdiri sendiri, yang berakibat pada keterbatasan dan mahalnya biaya untuk peningkatan kapasitas, sedangkan aplikasi sudah dituntut untuk mampu melayani pengguna dalam jumlah yang jauh lebih besar dari yang pernah ada sebelumnya. Dalam hal ini, database Big Data seperti halnya MongoDB maupun HBase, dapat memberikan solusi yang feasible yang memungkinkan peningkatan profit perusahaan secara signifikan.
Singkatnya, Big Data menggambarkan kumpulan data yang begitu besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software tradisional.
Jenis Teknologi Big Data : Big Data Operasional dan Big Data AnalitisDalam hal Teknologi, bentangan Big Data didominasi oleh dua jenis teknologi Big Data yaitu: (1) Big Data operasional: sistem yang memiliki kapabilitas operasional untuk pekerjaan-pekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan; (2) Big Data analitis: sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data. Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering digunakan secara bersamaan.
Beban kerja operasional dan analitis terhadap Big Data telah menyebabkan kebutuhan sistem yang berlawanan satu sama lain, dan sistem Big Data saat ini telah berevolusi untuk menangani kedua jenis kerja tersebut secara khusus, terpisah, dan dengan cara yang sangat berbeda. Baik kebutuhan kerja operasional maupun analitis untuk Big Data, masing-masing telah mendorong penciptaan arsitektur-arsitektur teknologi baru. Sistem operasional, seperti halnya NoSQL database, berfokus pada pelayanan terhadap permintaan akses yang tinggi yang terjadi dalam waktu bersamaan, dengan tetap memberikan respon yang seketika (low latency) terhadap permintaan akses tersebut. Akses data terhadap sistem operasional ini dapat dilakukan dengan berbagai pilihan kriteria. Dilain pihak, sistem analitis cenderung berfokus pada penanganan arus data yang lebih besar, query-query yang ditujukan pada data tersebut bisa sangat kompleks, dan setiap kali dieksekusi dapat melibatkan sebagian besar atau keseluruhan data yang ada dalam sistem. Baik sistem Big Data operasional maupun sistem Big Data analitis, kedua-duanya dioperasikan dengan melibatkan sejumlah servers yang tergabung dalam suatu cluster komputer, dan digunakan untuk mengelola puluhan atau ratusan terabytes data yang memuat miliaran record.
Teknologi Big Data OperasionalUntuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big Data dengan database NoSQL seperti halnya database berbasis dokumen (document based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang lebih spesifik. Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan dari database relasional (relational database) pada lingkungan komputasi modern, dikenal lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable) dibanding relational databases.
Terlebih lagi, sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.
Teknologi Big Data AnalitisDilain pihak, pekerjaan-pekerjaan Big Data analitis cenderung diproses dengan mengimplementasikan sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu, MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat berfungsi sebagai pelengkap terhadap kapabilitas SQL.
Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunanya terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah upaya analisa retrospektif yang benar-benar dapat memberikan nilai berarti terhadap kemajuan bisnis. Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain, data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop dengan MapReduce-nya.
Manfaat Pemberdayaan Big DataSerangkaian teknologi baru yang ditujukan untuk memberdayakan Big Data telah memungkinkan direalisasikannya suatu nilai dari Big Data. Sebagai contoh, pebisnis retail online dapat mempelajari perilaku para pengunjungnya berdasarkan data hasil web click tracking. Dengan mengetahui perilaku konsumen maupun calon konsumennya, maka dimungkinkan untuk menerapkan strategi baru guna meningkatkan penjualan, mengatur harga dan stok barang secara efisien. Institusi pemerintah maupun Google dapat mendeteksi timbulnya suatu wabah penyakit dengan memanfaatkan informasi yang mengalir di media sosial. Perusahaan minyak dan gas dapat menggunakan output dari sensor-sensor pada peralatan pengeboran untuk menemukan teknik pengeboran yang lebih aman dan efisien.
Jadi, dengan mendayagunakan database Big Data, operasional perusahaan dapat melakukan penghematan pengeluaran, meningkatkan keuntungan, dan mencapai sasaran-sasaran bisnis lainnya. Dalam hal ini paling tidak, ada 3 hal yang dapat diraih oleh perusahaan yang menerapkan teknologi Big Data, yakni:
1. Membuat aplikasi baru. Big Data memungkinkan suatu perusahaan untuk mengumpulkan data-data real time dari produk-produk yang mereka pasarkan, dari sumber daya yang digunakan, dan data-data yang berkaitan dengan pelanggannya. Data-data ini dapat dimanfaatkan untuk mengoptimalkan kepuasan pelanggan ataupun untuk efisiensi penggunaan sumber daya. Sebagai contoh, sebuah kota besar di Amerika Serikat telah menggunakan MongoDB, sebuah document based NoSQL database, untuk menurunkan angka kejahatan dan meningkatkan pelayanan umum dengan mengumpulkan dan menganalisa data geospatial secara real-time dari 30 departemen yang berbeda.
2. Meningkatkan efektifitas dan menurunkan biaya dari aplikasi yang telah ada. Teknologi Big Data dapat menggantikan sistem berspesifikasi tinggi yang mahal dengan sistem yang dapat dijalankan dengan spesifikasi standar. Disamping itu, karena banyak teknologi Big Data yang sifatnya open source, tentu mereka dapat diimplementasikan dengan biaya yang lebih murah dibandingkan teknologi yang hanya dimiliki dan dijual oleh suatu perusahaan.
3. Meningkatkan loyalitas pelanggan. Dengan semakin banyaknya data yang bisa diakses oleh berbagai bagian dalam suatu organisasi, juga dengan semakin cepatnya update yang dilakukan pada data-data tersebut, akan memungkinkan respon yang makin cepat dan akurat pula terhadap berbagai permintaan pelanggan.
KesimpulanData adalah emas. Organisasi manapun yang mengusai emas, dapat dipastikan kekayaan dan kekuasaan ada ditangannya. Begitu juga halnya dengan data. Namun demikian, seperti halnya emas, data mesti digali, diproses dan dianalisa dengan serentetan teknologi tertentu demi mendapatkan nilai yang berharga dari lautan data pada era digital sekarang ini. Lautan data tersebut kemudian dikenal dengan istilah Big Data, kumpulan data yang begitu besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software tradisional. Terdapat dua type teknologi untuk memberdayakan Big data, yaitu: (1) teknologi untuk memproses Big Data demi kebutuhan operasional, yakni: database NoSQL (MongoDB, HBase, ...), dan (2) teknologi untuk memproses Big Data guna kebutuhan analitis seperti halnya Hadoop. Dengan mengimplementasikan kedua type teknologi Big Data ini, akan memungkinkan didapatkannya nilai-nilai baru yang dapat memberikan manfaat pada operasional perusahaan berupa penghematan pengeluaran, peningkatan keuntungan, dan pencapaian sasaran-sasaran bisnis lainnya.
Referensi: Tulisan asli saya di "Catatan Akhir Pekan Seputar Teknologi Big Data untuk Mendorong Pemberdayaan Big Data di Indonesia"
