Memang belum banyak yang mengetahui profesi Data Engineer ini, akan tetapi pekerjaan dalam alur big data tidak lengkap apabila tidak ada data engineer yang dapat menghubungkan pekerjaan dari Data Scientist maupun Data Analyst. Salah satu profesi yang sedang menjadi incaran sekaligus dambaan para pelamar industri data adalah data engineer. Mengutip dari sebuah quotes "data is new oil" yang berarti banyak orang mengumpamakan data sebagai sumber daya yang sama berharganya dengan minyak. Data engineer sangat erat hubungannya dengan sebuah data. Data engineer diibaratkan seperti seorang insinyur, yang memiliki tugas untuk membangun infrastruktur big data yang masih belum terstruktur. Selain itu, data engineer mengambil beberapa data yang penting dan dibutuhkan untuk suatu analisa tertentu yang dilakukan oleh seorang data analyst atau data scientist. Jika dilihat dari kedalaman ilmunya, data engineer membutuhkan skill data science teknis seperti database technology, database processing, algoritma, pemahaman seputar ETL (Extract, Transform dan Load), matematika dan bahasa pemrograman. Kira-kira apakah perbedaan antara data scientist dan data engineer?
1.Role Pekerjaan
Data Scientist
Meskipun data science bukanlah bidang yang benar-benar baru, kini ilmu data dianggap sebagai analisis data tingkat lanjut yang didorong oleh ilmu komputer (dan pembelajaran mesin). Sebelum rekayasa data dibuat sebagai peran terpisah, data scientist membangun infrastruktur dan membersihkan datanya sendiri. Saat ini, data scientist berkonsentrasi untuk menemukan wawasan baru dari data yang telah dibersihkan dan disiapkan oleh para insinyur data. Jadi dapat dikatakan bahwa ini bukan kasus ilmu data vs. rekayasa data. Ini karena mereka berdua bekerja sama, saling memuji untuk membantu bisnis mencapai tujuan mereka. Ada beberapa keterampilan yang tumpang tindih, tetapi ini tidak berarti bahwa peran tersebut dapat dipertukarkan. Baik data engineer dan data scientist adalah pemrogram. Namun, data engineer cenderung memiliki pemahaman yang jauh lebih unggul tentang keterampilan ini sementara data scientist jauh lebih baik dalam analisis data.