Sejarah Data Warehouse

Apa itu Data Warehouse?

Data warehouse adalah jenis sistem manajemen data yang dirancang untuk memungkinkan dan mendukung kegiatan intelijen bisnis (BI), terutama analisis. Data warehouses hanya dimaksudkan untuk melakukan kueri dan analisis dan sering mengandung sejumlah besar data historis. Data dalam gudang data biasanya berasal dari berbagai sumber seperti file log aplikasi dan aplikasi transaksi.

Data warehouse memfokuskan dan mengkonsolidasikan sejumlah besar data dari berbagai sumber. Kemampuan analisisnya memungkinkan organisasi untuk mendapatkan wawasan bisnis yang berharga dari data mereka untuk meningkatkan pengambilan keputusan. Seiring waktu, ia membangun catatan sejarah yang bisa sangat berharga bagi ilmuwan data dan analis bisnis. Karena kemampuan ini, gudang data dapat dianggap sebagai "sumber satu-satunya kebenaran" organisasi.

Penyimpanan Data Awal

Punch card adalah solusi pertama untuk menyimpan data yang dihasilkan komputer. Pada tahun 1950-an, kartu punch adalah bagian penting dari pemerintah Amerika dan bisnis. Peringatan “Jangan melipat, membungkuk, atau melukai” awalnya berasal dari kartu punch. Kartu punch terus digunakan secara teratur sampai pertengahan 1980-an. Mereka masih digunakan untuk merekam hasil pemungutan suara dan tes standar.

“Magnetic storage” perlahan-lahan menggantikan kartu punch mulai pada tahun 1960-an. Penyimpanan disk datang sebagai langkah evolusioner berikutnya untuk penyimpanan data. Penyimpanan disk (hard drive dan floppies) mulai menjadi populer pada tahun 1964 dan memungkinkan data untuk diakses secara langsung, secara signifikan meningkatkan pita magnet clumsier.

Sebuah 'Punch Card'. [Erin George / continuum.umn.edu ]

DBMS dalam penyimpanan disk

DBMS (Database Management Systems) diintegrasikan dengan penyimpanannya untuk menyimpan data secara langsung pada disk itu sendiri. Keuntungan utama dari integrasi DBMS adalah kami dapat menemukan data dengan cepat. Fitur termasuk lokasi dan penghapusan data, memecahkan masalah ketika dua data yang berbeda dipaparkan ke lokasi yang sama. Lokasi fisik dapat diperpanjang ketika data melebihi batas penyimpanan.

Penyimpanan disk segera diikuti oleh perangkat lunak yang disebut sistem manajemen database. (DBMS). Pada tahun 1966, IBM datang dengan DBMS sendiri yang disebut, pada saat itu, sistem manajemen informasi. Perangkat lunak DBMS dirancang untuk mengelola “penyimpanan disk” dan mencakup kemampuan berikut:

• Mengidentifikasi lokasi data yang tepat
• Memecahkan konflik ketika lebih dari satu unit data dipaparkan ke lokasi yang sama
• Memungkinkan data untuk dihapus
• Cari ruang ketika data yang disimpan tidak akan cocok di lokasi fisik tertentu yang terbatas
• Dapatkan data dengan cepat

Teknologi Generasi Keempat (4GL) dan komputer pribadi:

Motif dari teknologi 4GL adalah untuk memberikan pengguna akhir kesempatan langsung untuk mengakses data, menggunakan bahasa pemrograman dan pengembangan sistem tanpa campur tangan departemen TI. Hal yang sama juga terjadi pada komputer pribadi. Jadi, individu dapat membawa sistem pribadi mereka sendiri ke perusahaan bisnis dan dapat mengakses data spesifik yang dapat diakses mereka. Ini mengurangi kebutuhan untuk departemen teknologi terpusat untuk memberikan data yang diminta kepada pengguna. Spreadsheets adalah contoh yang baik. Namun, ia memiliki kelemahannya. Antara berikut:

• Data yang salah bisa menyesatkan.
• Data yang tidak lengkap mungkin tidak sangat berguna.
• Data lama tidak diinginkan.
• Berbagai versi dari data yang sama dapat membingungkan.
• Data yang tidak memiliki dokumentasi dipertanyakan.

Data rasional menjadi populer pada tahun 1980-an. Database relasional jauh lebih ramah pengguna daripada pendahulunya. Structured Query Language SQL adalah bahasa yang digunakan oleh sistem manajemen database relasional. RDBMS. Pada akhir 1980-an, banyak bisnis telah pindah dari komputer mainframe. Anggota staf sekarang ditugaskan komputer pribadi, dan aplikasi kantor Excel, Microsoft Word, dan Access mulai mendapatkan keuntungan.

Evolusi Data Warehouse 

Menurut Igor Urisman, insinyur perangkat lunak senior di Dasera, menyebutkan beberapa evolusi dari Data Warehouse:

 1.The Batch (1960-1985)  

Pada di antara tahun 1960 dan 1975 kemajuan dalam kepadatan media memungkinkan pengurangan ukuran drive ke titik di mana banyak data dapat disimpan oleh sistem komputer rata-rata. Sebuah perusahaan dapat mengumpulkan dan menyimpan tumbuh informasi disk, membuang data historis di pita, terbatas pada pekerjaan, yang membutuhkan operator manusia, dan bidang pelaporan bisnis lahir tergantung pada manusia. Untuk membantu pengguna teknis dan non-teknis menulis laporan bisnis lebih cepat daripada dalam bahasa pemrograman umum - seperti COBOL atau Fortran - beberapa bahasa komersial baru dikembangkan, seperti Easytrieve Pansophic, 1970 dan Natural. Software AG, 1979. 

2. The Star Schema (1985-2010)

Penurunan biaya penyimpanan dan memori menyebabkan kenaikan Sistem Manajemen Basis Data DBMS pada tahun 80-an dan 90-an. Database ini, seperti Oracle, DB2, Postgres, dan SQL Server, memperkenalkan SQL, bahasa akses data yang memberikan abstraksi yang kuat atas organisasi data fisik pada disk, membuat akses data deklaratif.

3. Cloud (2010 - )
Kemajuan besar berikutnya dalam penyimpanan data datang sebagai hasil dari virtualisasi komputasi. Pergeseran ke cloud menghilangkan keterbatasan yang berhubungan dengan manusia dari tugas administrasi gudang dalam bentuk solusi database yang dikelola. Dikombinasikan dengan kemajuan teknologi lebih lanjut dalam penyimpanan, memori dan pemrosesan paralel massal, perusahaan sekarang dapat menjalankan kueri analitis secara efisien terhadap petabyte data. 

Data Cloud. [Drew Robb / datamation.com]

Kesimpulan:

Data warehouse adalah sistem manajemen data yang dirancang untuk mengelola dan mendukung kegiatan intelijen bisnis (BI), termasuk analisis. Ini menyatukan dan mengkonsolidasikan data historis dari berbagai sumber, memungkinkan organisasi untuk membuat keputusan yang tepat. Data warehouses telah berevolusi dari kartu punch, penyimpanan magnetik, dan disk drive, dengan IBM menjadi yang pertama mengembangkan dan memproduksi disk drive. Sistem Manajemen Database (DBMS) terintegrasi untuk mengelola data pada disk, memungkinkan pemulihan data yang lebih cepat.

Teknologi 4GL memungkinkan pengambilan data berkinerja tinggi, menggunakan komputer tanpa departemen teknis. Jadual adalah data yang baik tetapi mempunyai batasan, seperti jenis data yang terbatas, kurangnya organisasi, dan kurangnya dokumentasi.

Data rasional menjadi populer pada tahun 1980-an, yang mengarah pada pengembangan database relasional. Structured Query Language (SQL) diperkenalkan sebagai sistem manajemen database. Pada tahun 1980-an, banyak bisnis telah beralih ke komputer mainframe, dan berbagai aplikasi perangkat lunak, seperti Excel, Microsoft Word, dan Access, memberikan dukungan.

Sumber:

https://www.oracle.com/id/database/what-is-a-data-warehouse/

https://www.dataversity.net/brief-history-data-warehouse/

https://www.geeksforgeeks.org/history-of-data-warehousing/

https://www.dasera.com/blog/a-brief-history-of-the-data-warehouse