Entropy mengukur seberapa acak atau tidak teraturnya suatu dataset. Semakin tinggi entropy, semakin tidak teratur dataset tersebut. Dalam konteks decision tree, kita menggunakan entropy untuk menghitung "kemurnian" dari data yang sedang kita coba pisahkan. Jika semua data dalam satu subset berasal dari kelas yang sama, entropy akan menjadi 0 (sangat teratur). Jika kelasnya bercampur, entropy akan tinggi.
Contoh: jika kita memiliki dataset berisi 100 pelanggan dan 50 diantaranya membeli tiket bioskop sementara 50 lainnya tidak, maka entropy akan lebih tinggi dibandingkan jika 90 orang membeli dan hanya 10 orang yang tidak.
2. Information Gain (Gain)
Gain adalah pengurangan entropy yang terjadi setelah data dibagi berdasarkan fitur tertentu. Semakin besar pengurangan entropy, semakin tinggi information gain dari fitur tersebut. Dengan kata lain, gain membantu kita memilih fitur mana yang paling baik untuk memisahkan data pada langkah pertama pohon keputusan.
Rumus Gain: Gain = Entropy Awal - Entropy Setelah Pembagian
Fitur dengan gain tertinggi akan dipilih sebagai dasar pembagian pertama pada decision tree
3. Gini Index
Gini Index adalah alternatif dari enropy untuk mengukur impurity (ketidakmurnian) dari data. Nilai Gini berkisar dari 0 (murni) hingga 1 (campuran sepenuhnya). Semakin rendah nilai Gini, semakin baik fitur tersebut dalam memisahkan data.
Misalnya, jika fitur hanya berisi satu kelas (misal, semua pelanggan membeli tiket bioskop), Gini Indexnya akan mendekati 0
4. Gain Ratio
Gain Ratio adalah perbaikan dari gain, karena gain cenderung memilih fitur dengan banyak nilai (kategori) meskipun mungkin tidak terlalu pending. Gain Ratio memperhitungkan jumlah pembagian yang terjadi dan memberikan preferensi pada fitur yang tidak membagi data terlalu banyak, sehingga menghasilkan pemilihan fitur yang lebih adil.
