Pemerintahan Philip bukannya tanpa masalah pribadi dan politik. Dia menghadapi beberapa pemberontakan dan konspirasi, dan kehidupan pribadinya rumit, ditandai dengan pergolakan pernikahan dan persaingan antara istri dan anak-anaknya. Ketegangan internal ini memuncak dengan pembunuhannya pada tahun 336 SM, menjelang rencana kampanye militer melawan Kekaisaran Persia.
Misteri dan intrik pun menyelimuti kematian Philip. Dia dibunuh pada tahun 336 SM. oleh Pausanias, salah satu anggota pengawal pribadinya, dalam keadaan yang masih menimbulkan perdebatan di kalangan sejarawan. Beberapa orang berpendapat bahwa Olympia berada di balik pembunuhan itu, berusaha memastikan putranya naik takhta. Yang lain percaya bahwa ini adalah konspirasi yang lebih luas, mungkin melibatkan negara-negara saingan seperti Persia.
Meski meninggal dini, warisan Philip II masih bertahan lama. Dia meninggalkan Makedonia sebagai kekuatan utama di dunia Yunani dan menyediakan pangkalan politik dan militer yang akan digunakan putranya Alexander untuk ekspansinya sendiri. Selain itu, reformasi militer dan administrasi yang dilakukan Philip mengubah Makedonia menjadi negara yang terpusat dan efisien, sebuah model bagi kerajaan masa depan.
Singkatnya, Philip II bukan hanya ayah dari Alexander Agung, tetapi juga seorang raja yang cerdik, seorang reformis militer yang inovatif, dan pemain kunci dalam politik pada masanya. Pengaruh dan prestasi mereka meletakkan dasar bagi salah satu kerajaan terbesar dalam sejarah kuno dan dampaknya terhadap sejarah Eropa dan dunia tidak dapat disangkal.
