Apa itu Knowledge Distillation dari Kemunculan DeepSeek, Apa dan Bagaimana Kerjanya?

Sama dengan penjelasan diatas, proses knowledge distillation melibatkan beberapa langkah utama, seperti:

 1. Model LLM yang Kredibel (OpenAI-GPT)

Memiliki parameter yang kompleks yang telah dilatih dalam menggunakan data dalam jumlah besar, perannya disini adalah sebagai profesor. Terbukti dapat melakukan berbagai tugas, seperti menghasilkan teks, gambar, menganalisa, mengklasifikasikan data, dan lainnya sesuai dengan prompt atau perintah.

2. Mempelajari Soft Output

Alih-alih meniru jawaban spesifik dari prompt yang diberikan, model AI kedua yang berperan sebagai mahasiswa magang, yang belajar dari soft output dari profesor. Apa itu soft output? Adalah distribusi probabilitas yang dihasilkan oleh model profesor dari suatu input tertentu. 

Misalnya, input yang dihasilkan adalah "Apa ibu kota Perancis?", GPT kemungkinan akan menampilkan distribusi probabilitas seperti Paris, London, atau Roma, dimana Paris sebagai jawaban yang paling mungkin. Jadi, memperkirakan distribusi probabilitas adalah tahap kedua.

3. Melatih Target atau 'mahasiswa magang'

Proses menyesuaikan parameter internal sehingga probabilitas yang dihasilkan sesuai dengan 'sumber' atau profesor meskipun jumlah parameter lebih sedikit dan komputasinya lebih sederhana. Pada tahap ini, diukur akurasi dari hasil 'profesor' dan 'mahasiswa magang'.

4. Penyempurnaan 

Tahapan ini dilakukan untuk mengkhususkan diri pada tugas dan kumpulan data tertentu, sehingga dapat dipastikan bahwa model 'mahasiswa magang' memiliki performa baik dalam tugas yang diberikan, seperti menjawab pertanyaan spesifik atau menganalisa data.

Dari penjelasan diatas, akan menjawab pertanyaan 'Apakah memungkinkan dilakukan dalam 55 hari?', dan jawabannya adalah mungkin. Namun, jangka waktu ini juga tergantung pada kompleksitas model, data , parameter, sumber daya komputasi, dan lainnya.

Tentunya, masuk akan jika akurasi DeepSeek masih di angka 17%, namun ini menjadi awal mula perang ekonomi antara Amerika Serikat dengan Tiongkok. Lantas, apa hal yang bisa kita pelajari dari hadirnya DeepSeek? Bahwa kedaulatan sebuah negara perlu diperjuangkan.

Saya banyak belajar dari gebrakan negara Tiongkok, bagaimana mendidik warga negaranya, memprioritaskan pendidikan dan berusaha untuk berdaulat secara ekonomi. Jadi benar peribahasa untuk 'Tuntutlah ilmu sampai ke negeri Cina', karena hari ini Cina terbukti menjadi negara maju, dengan kemajuan teknologi, ekonomi, dan ilmu pengetahuan.

Referensi:

• https://www.bbc.com/news/articles/c9vm1m8wpr9o
• https://www.reuters.com/world/china/deepseeks-chatbot-achieves-17-accuracy-trails-western-rivals-newsguard-audit-2025-01-29/
• https://en.wikipedia.org/wiki/DeepSeek#External_links
• https://fortune.com/2025/01/29/deepseek-openais-what-is-distillation-david-sacks/