Proses KDD dalam Data mining : Apa yang harus kamu ketahui?

Apa itu KDD?

KDD merupakan singkatan dari knowledge discovery in database  dan didefinisikan sebagai metode untuk menemukan, mengubah, dan menyempurnakan data dan pola yang berarti dari basis data mentah untuk digunakan dalam domain atau aplikasi yang berbeda.

Pernyataan di atas adalah gambaran umum atau inti dari KDD, tetapi merupakan proses yang panjang dan kompleks yang melibatkan banyak langkah dan iterasi. Sekarang sebelum kita mempelajari seluk beluk KDD, mari kita coba dan mengatur nada melalui sebuah contoh.

Misalkan, ada sungai kecil yang mengalir di dekatnya dan Anda adalah salah satu penggemar kerajinan, kolektor batu, atau penjelajah acak. Sekarang, Anda memiliki pengetahuan sebelumnya bahwa dasar sungai penuh dengan batu, kerang, dan benda acak lainnya. Premis ini adalah yang paling penting yang tanpanya seseorang tidak dapat mencapai sumbernya.

Selanjutnya, tergantung pada siapa Anda, kebutuhan dan persyaratan dapat bervariasi. Ini adalah hal terpenting kedua untuk dipahami. Jadi, Anda pergi ke depan dan mengumpulkan batu, kerang, koin atau artefak yang mungkin tergeletak di dasar sungai. Tapi itu juga membawa kotoran dan benda-benda yang tidak diinginkan lainnya, yang harus Anda singkirkan agar benda-benda itu siap untuk digunakan lebih lanjut.

Pada tahap ini, Anda mungkin perlu kembali dan mengumpulkan lebih banyak item sesuai kebutuhan Anda, dan proses ini akan berulang beberapa kali atau benar-benar dilewati sesuai kondisi.

Objek yang dikumpulkan perlu dipisahkan ke dalam jenis yang berbeda agar lebih sesuai dengan aplikasi Anda dan selanjutnya harus dipotong, dipoles, atau dicat. Tahap ini disebut tahap transformasi.

Selama proses ini, Anda memperoleh pemahaman tentang, misalnya, di mana Anda lebih mungkin menemukan batu yang lebih besar dengan warna tertentu -- apakah di dekat tepian atau lebih dalam di sungai, apakah artefak tersebut kemungkinan ditemukan di hulu atau hilir dan seterusnya. . Data mining adalah bagian penting ketika Anda mempelajari ilmu data.

Ini membantu dalam pola decoding yang dapat membantu dalam penyelesaian tugas yang lebih efisien dan lebih cepat. Apa yang akhirnya Anda dapatkan adalah penemuan pengetahuan yang disempurnakan, andal, dan sangat spesifik untuk aplikasi Anda.

Apa itu KDD dalam Data Mining?

 KDD dalam data mining adalah pendekatan terprogram dan analitis untuk memodelkan data dari database untuk mengekstrak 'pengetahuan' yang berguna dan dapat diterapkan. Data mining membentuk tulang punggung KDD dan karenanya sangat penting untuk keseluruhan metode. 

Ini menggunakan beberapa algoritma yang belajar mandiri di alam untuk menyimpulkan pola yang berguna dari data yang diproses. Prosesnya adalah umpan balik konstan loop tertutup di mana banyak iterasi terjadi antara berbagai langkah sesuai permintaan algoritma dan interpretasi pola.

Langkah-Langkah yang Terlibat dalam Proses KDD

1. Penetapan Tujuan dan Pemahaman Aplikasi

Ini adalah langkah pertama dalam proses dan membutuhkan pemahaman dan pengetahuan sebelumnya tentang bidang yang akan diterapkan. Di sinilah kami memutuskan bagaimana data yang ditransformasikan dan pola yang diperoleh oleh data mining akan digunakan untuk mengekstrak pengetahuan. Premis ini sangat penting yang, jika salah, dapat menyebabkan interpretasi yang salah dan dampak negatif pada pengguna akhir.

2. Pemilihan dan Integrasi Data

Setelah menetapkan tujuan dan sasaran, data yang dikumpulkan perlu dipilih dan dipisahkan ke dalam kumpulan yang bermakna berdasarkan ketersediaan, kepentingan, dan kualitas aksesibilitas. Parameter ini sangat penting untuk penambangan data karena mereka menjadi dasar untuk itu dan akan mempengaruhi jenis model data apa yang dibentuk.

3. Pembersihan dan Prapemrosesan Data

Langkah ini melibatkan pencarian data yang hilang dan menghapus data yang berisik, redundan, dan berkualitas rendah dari kumpulan data untuk meningkatkan keandalan data dan efektivitasnya. Algoritma tertentu digunakan untuk mencari dan menghilangkan data yang tidak diinginkan berdasarkan atribut khusus untuk aplikasi.

4. Transformasi Data

Langkah ini menyiapkan data untuk diumpankan ke algoritma data mining. Oleh karena itu, data perlu dalam bentuk konsolidasi dan agregat. Data dikonsolidasikan berdasarkan fungsi, atribut, fitur, dll.

5. Penambangan Data

Ini adalah proses akar atau tulang punggung dari keseluruhan KDD. Di sinilah algoritma digunakan untuk mengekstrak pola yang bermakna dari data yang diubah, yang membantu dalam model prediksi. Ini adalah alat analisis yang membantu menemukan tren dari kumpulan data menggunakan teknik seperti kecerdasan buatan, metode numerik dan statistik canggih, dan algoritme khusus.

6. Evaluasi/Interpretasi Pola

Setelah tren dan pola diperoleh dari berbagai metode penambangan data dan iterasi, pola ini perlu direpresentasikan dalam bentuk diskrit seperti grafik batang, diagram lingkaran, histogram, dll. untuk mempelajari dampak data yang dikumpulkan dan diubah selama langkah sebelumnya. Ini juga membantu dalam mengevaluasi efektivitas model data tertentu dalam pandangan domain.

7. Penemuan dan Penggunaan Pengetahuan

Ini adalah langkah terakhir dalam proses KDD dan membutuhkan 'pengetahuan' yang diekstraksi dari langkah sebelumnya untuk diterapkan ke aplikasi atau domain tertentu dalam format visual seperti tabel, laporan, dll. Langkah ini mendorong proses pengambilan keputusan untuk kata aplikasi

Mengapa KDD itu penting?

Tujuan utama dari metode KDD adalah untuk mengekstrak informasi dari database besar. Ini menyelesaikan ini dengan menggunakan teknik Data Mining untuk menentukan apa yang dianggap sebagai pengetahuan. KDD didefinisikan sebagai investigasi yang direncanakan, eksplorasi dan pemodelan sumber data yang signifikan. 

KDD adalah proses sistematis untuk mengidentifikasi pola yang valid, praktis, dan dapat dipahami dalam kumpulan data yang masif dan rumit. Dasar dari metode KDD adalah data mining, yang melibatkan inferensi dari algoritma yang menganalisis data, membangun model, dan menemukan pola yang sebelumnya tidak diketahui. 

Model digunakan untuk mengekstrak informasi dari data, dan kemudian menganalisis dan memprediksinya.