Ada dua peristiwa penting yang melatarbelakangi Benteng Kastela ini, yaitu pembunuhan Sultan Khairun dan perlawanan putranya, Sultan Baabullah.