ETL (Extract, Transform dan Load)
ETL (Extract, Transform dan Load) mengacu pada proses penggunaan database dan terutama dalam data warehouse yang melibatkan:
- Extracting (menggali) data dari sumber-sumber luar.
- Transforming (merubah) agar sesuai dengan kebutuhan operasional, yang dapat mencakup tingkat kualitas.
- Loading ke target akhir (database, lebih khusus, menyimpan data operasional, data mart atau data warehouse).
EXTRACK Bagian pertama dari proses ETL melibatkan penggalian data dari sumber sistem. Dalam banyak kasus, hal ini adalah aspek yang paling menantang dari ETL, karena penggalian data dengan benar menetapkan stage untuk bagaimana proses selanjutnya.Bagian intrinsik dari ekstraksi melibatkan parsing data yang diekstrak. Sehingga pada pengecekan, apakah data memenuhi pola atau struktur yang diharapkan. Jika tidak, data dapat ditolak seluruhnya atau sebagian.
TRANSFORM Tahap transformasi menerapkan serangkaian aturan atau fungsi data yang diambil dari sumber untuk memperoleh data loading hingga target akhir. Beberapa sumber data yang akan membutuhkan sangat sedikit atau bahkan tidak ada manipulasi data. Dalam kasus lain, satu atau lebih jenis transformasi mungkin diperlukan untuk memenuhi kebutuhan bisnis dan teknis dari database yang ditargetkan.
LOAD
Tahapan beban data ke target akhir, biasanya data warehouse (DW). Tergantung pada persyaratan organisasi, proses ini sangat bervariasi. Beberapa data warehouse yang mungkin menimpa informasi yang ada dengan informasi kumulatif, sering memperbarui ekstrak data yang dilakukan secara harian, mingguan atau bulanan. DW lainnya (atau bahkan bagian lain dari DW yang sama) dapat menambahkan data baru dalam bentuk sejarah, misalnya, dengan jam (waktu). Untuk memahami hal ini, DW mempertimbangkan hal yang diperlukan untuk mempertahankan catatan penjualan tahun lalu. Kemudian, DW akan menimpa data yang lebih lama dari satu tahun dengan data yang lebih baru. Namun, masuknya data untuk setiap jendela satu tahun akan dilakukan secara historis. Waktu dan ruang lingkup untuk mengganti atau menambahkan adalah pilihan desain strategis tergantung pada waktu yang tersedia dan kebutuhan bisnis. Sistem yang lebih kompleks dapat mempertahankan sejarah dan audit trail dari semua perubahan data yang dimuat di DW. Sebagai tahap beban yang berinteraksi dengan database, kendala didefinisikan dalam skema database - serta memicu hal yang akan diaktifkan pada data beban - apply (misalnya, keunikan, integritas referensial, bidang wajib), yang juga berkontribusi terhadap kualitas kinerja keseluruhan data dari proses ETL.
Kesimpulan yang dapat diambil dari keterangan diatas yaitu digambarkan dalam gambar dibawah ini :