Data Analyst Fundamental

Bismillahirrahmanirrahim...

Halo teman-teman, semoga kalian sehat ya! Aamiin....

Oh ya kali ini kita akan belajar bersama-sama mengenai Data Analyst fundamental.

- Tipe data adalah pengkategorian data yang menentukan bagaimana data yang menentukan bagaimana data disimpan, diolah, dan ditampilkan.

- Tipe data dapat berupa data kuantitatif dan kualitatif (kategorikal), tergantung dari kebutuhan dan sifat data tersebut.

- Tipe/ bentuk data di dunia nyata, yang paling umum adalah teks dan angka.

Berupa angka, dapat diukur dan hitung, seperti jumlah pembayaran, usia, dan  jumlah produk

Berupa teks, dapat dikelompokkan dan diklasifikasikan, seperti nama, alamat, email

- Tipe data kuantitatif dapat dipecah menjadi integer dan float/decimal.

Integer adalah nilai bilangan bulat, tidak memiliki komponen pecahan dan bernilai positif ataupun negatif

Float atau Decimal adalah bilangan yang memiliki nilai pecahan atau nilai koma

- Tipe data kualitatif dapat dibagi menjadi beberapa tipe seperti data biner, kategori (ordinal dan kategorik), atau teks bebas.

Ordinal adalah kategori yang memiliki urutan, seperti tinggi-rendah

kategorikal adalah kategori yang tidak memiliki urutan, seperti warna, nama, kota, merek, dll.

Teks bebas adalah data yang berisi teks secara umum seperti alamat, komentar,dll

Data biner adalah data yang hanya berisi 2 nilai, seperti iya dan tidak, menang atau kalah, benar dan salah,dll.

Data biner hanya terdiri dari angka 0 atau 1.

- Variabel adalah alias atau simbol  yang menggambarkan sebuah nilai yang dapat berubah, seperti ketika melakukan analisis pendapatan rata-rata di suatu daerah, bisa dilambangkan dengan variabel x, maka X adalah rata-rata pendapatan daerah A. Nilai X dapat berubah jika ada perubahan di daerah tersebut (penduduk baru, penduduk keluar, perubahan gaji), tapi kita tetap bisa menggunakan variabel  X untuk penelitian. Variabel berguna untuk menyimpan dan mengolah data dalam pemrograman, matematika, dan data analyst.

- Data mining adalah proses mengidentifikasi pola dan insight dari data menggunakan berbagai metode & teknik seperti clustering, klasifikasi, regresi, dan asosiasi 

Tujuan utama data mining adalah untuk menggali informasi dan wawasan yang tersifat, terlepas dari metode yang digunakan. Karena pada dasarnya data itu kompleks untuk mendapatkan insight yang bermanfaat dari data mentah, maka perlu proses data mining.

- Data visualization adalah proses membuat representasi data dalam bentuk grafik/diagram.

Tujuan data visualization adalah untuk mengkomunikasikan data yang kompleks menjadi mudah dipahami dan diinterprestasikan. Karena sering kali insight atau wawasan yang tersirat tidak dapat dipahami secara intuitif hanya dari data mentah berbentuk tabel.

- Perbedaan data mining & data visualization dengan reporting biasa yaitu pada reporting atau pembuatan laporan yang normal, kita sudah menentukan goalnya apa dan apa saja yang harus termuat di laporan. Sedangkan, data mining dan visualization lebih berfokus pada eksplorasi data untuk menentukan insight, pola, hipotesa atau bahkan pertanyaan baru, selain itu data mining & visualization juga tidak dibatasi oleh tools ataupun metode yang digunakan.

- Metodologi riset CRISM-DM . CRISM-DM singkatan dari cross-industry standart proses for data mining, atau standar proses lintas industri untuk data mining adalah sebuah kerangka kerja (framework) yang menjelaskan berbagai fase, tugas dan metodologi untuuk mengerjakan proyek data mining. sehingga CRISM-DM bisa dijadikan acuan yang tersandar bagaimana proyek data mining seharusnya berjalan.

CRISM-DM digunakan dalam analisis data karena bermanfaat untuk:

1. mendefinisikan objektif dan kebutuhan proyek secara jelas dan sintematis

2. mengidentifikasi dan mengumpulkan data yang relevan untuk dianalisis

3. mengevaluasi dan menvalidasi hasil dan temuan saat analisis

4. menyampaikan data dan rekomendasi secara efektif

5. memonitor implementasi solusi/rekomendasi secara efisien

Terdapat 6 tahapan dalam CRISM-DM 

1. Business issue understanding

2. Data undedrstanding

3. Data Preparation

4. Exploratory analyst/ modelling 

5. Validation

6. Visualization & presentation/deployment

Business Understanding. Fase awal proyek, fokus pada memahami permasalahan & objektif bisnis. 

Aktivitas yang dilakukan pada tahap awal ini meliputi:

• Memahami permasalahan dan objektif utama dari sisi bisnis

• Identifikasi data, informasi, dan stakeholder yang diperlukan

• Menilai tipe analisis yang akan dilakukan dan kelayakannya

• Membatasi lingkup analisis dan hasil akhirnya

Data Understanding. Fase ini melibatkan eksplorasi dan analisis terhadap ketersediaan data untuk memahami karakteristik, kualitas, dan relevansi proyek.

Aktivitas yang dilakukan pada tahap ini meliputi:

• mendefinisikan kebutuhan data sesuai hasil business understanding

• mengumpulkan data awal

• Identifikasi ketersediaan data serta menilai kualitas data

• melakukan eksplorasi data serta karakteristik setiap data

Data Preparation. Fase pemrosesan awal data untuk persiapan tahap selanjutnya.

Aktivitas yang dilakukan pada tahap ini meliputi:

• Memilih data yang relevan dari berbagai sumber data

• Membersihkan dan pre-proses data yang sudah dipilih

• Melakukan format dan transformasi data

• Mengintegrasikan data dari berbagai sumber data yang sudah bersih

Modeling. Fase untuk memilih dan mengaplikasikan teknik untuk mengekstrak insight dari data.

Aktivitas yang dilakukan pada tahap ini meliputi:

• Menentukan teknik analisis, termasuk machine learning jika diperlukan

• mengimplementasikan teknik analisis terhadap hasil data preparation

• Menilai hasil dan membandingkan tiap teknik analisis

Evaluation atau Validation. Fase untuk menilai dan mengevaluasi performa teknik analisis yang telah terpilih.

Aktivitas yang dilakukan pada tahap ini meliputi:

• Mengevaluasi performa model menggunakan metrics/tolak ukur yang sesuai

• Menginterpretasikan hasil model

• Mereview ulang proses analisis

• Memastikan apakah hasil sudah cukup baik

Deployment. Fase akhir untuk melakukan produksi model atau presentasi & implementasi hasil analisis.

Aktivitas yang dilakukan pada tahap ini meliputi:

• Deployment

• 
  

  • Jika kasusnya adalah model machine learning maka dilakukan produksi model ke platform utama

  • Jika hasilnya adalah analisis/monitoring maka melakukan presentasi hasil dan implementasi rekomendasi

• Memonitor performa model atau rekomendasi analisis

• Menyampaikan hasil analisis dan meminta timbal balik kepada stakeholder

• Memberikan kesimpulan

Contoh implementasi CRISP-DM untuk customer churn prediction.

Salah satu penerapan CRISP-DM pada bidang telco (operator telekomunikasi) adalah memprediksi pelanggan mana yang akan churn (berhenti langganan).

• Business Understanding

  • objektif: Mengurangi churn dengan mengidentifikasi pelanggan yang berisiko tinggi untuk churn, lalu memberikan strategi untuk menjaga pelanggan

  • sumber data: data demografi pelanggan, pola penggunaan, catatan layanan, dll

• Data Understanding

  • Mengambil data dari berbagai sumber

  • Eksplorasi data untuk mendapatkan data yang relevan (seperti penggunaan panggilan telepon, riwayat pembayaran, tenor, dll)

  • Analisa distribusi data dan korelasinya terhadap target, untuk memahami indikator apa yang potensial untuk mendeteksi churn

• Data Preparation

  • Memilih data yang relevan berdasarkan hubungannya dengan data churn

  • Praproses data dengan mengatasi value yang hilang, outlier, dan data teks

  • Transformasi data untuk membentuk data baru dari tahap sebelumnya (misal membuat rata-rata pengeluaran tiap user)

• Modeling

  • memilih teknik analisis seperti model logistic regression, random forest, gradient boosting, dll

  • mengimplementasikan solusi terhadap data yang sudah di praproses

  • menganalisa hasil analisis dan menentukan opsi terbaik berdasarkan kebutuhan bisnis

• Evaluation

  • evaluasi hasil analisis menggunakan model terhadap data yang disiapkan untuk evaluasi

  • memvalidasi hasil menggunakan metrics untuk klasifikasi seperti akurasi, precision, recall, atau AUC-ROC

• Deployment

  • mengintegrasikan model machine learning dengan infrastruktur perusahaan untuk memprediksi risiko churn pelanggan

  • menargetkan intervensi atau strategi untuk menjaga pelanggan yang berisiko churn agar tetap loyal

  • memonitor performa model dari waktu ke waktu

Namun jika saat fase evaluasi dinilai solusi atau rekomendasi yang diberikan kurang memuaskan, maka kita harus menilai tahap mana yang perlu diperbaiki/ditingkatkan. Karena itu penting untuk memahami apa kriteria/metrics yang tepat untuk evaluasi, performa seperti apa yang dianggap sudah bagus, dan tahap mana yang masih bisa diperbaiki → iterative process

Analisis SWOT adalah sebuah metode perencanaan strategis yang digunakan untuk mengevaluasi kekuatan, kelemahan, peluang, dan ancaman yang terjadi dalam proyek atau bisnis. Analisis SWOT dapat membantu dalam menentukan strategi bersaing yang sesuai dengan kondisi internal dan eksternal perusahaan1

Analisis SWOT terdiri dari empat komponen, yaitu:

• Kekuatan (Strengths): adalah situasi atau kondisi kekuatan organisasi atau program pada saat ini, yang dapat dibandingkan dengan inisiatif lain atau keunggulan kompetitif eksternal.
• Kelemahan (Weaknesses): adalah situasi atau kondisi kelemahan dari organisasi atau program pada saat ini, yang dapat menghambat pencapaian tujuan atau mengurangi kinerja.
• Peluang (Opportunities): adalah situasi atau kondisi peluang yang berasal dari luar organisasi, yang dapat dimanfaatkan untuk meningkatkan kekuatan atau mengatasi kelemahan.
• Ancaman (Threats): adalah situasi atau kondisi ancaman yang berasal dari luar organisasi, yang dapat mengganggu atau merugikan keberlangsungan atau pertumbuhan organisasi.Kekuatan
  -Tuliskan faktor-faktor internal yang menjadi kekuatan organisasi atau program AndaKelemahan
   -Tuliskan faktor-faktor internal yang menjadi kelemahan organisasi atau program AndaPeluangAncaman- Tuliskan faktor-faktor eksternal yang menjadi peluang bagi organisasi atau program Anda- Tuliskan faktor-faktor eksternal yang menjadi ancaman bagi organisasi atau program AndaSetelah mengisi matriks SWOT, Anda dapat menganalisis hubungan antara kekuatan, kelemahan, peluang, dan ancaman, serta menentukan strategi yang sesuai untuk memaksimalkan kekuatan dan peluang, serta meminimalkan kelemahan dan ancaman.

Sekian dulu ya teman-teman, sampai jumpa di coretan selanjutnya...