Meskipun tidak terlalu besar, benteng ini ternyata menyimpan sejarah berliku. Dari Portugis, Kesultanan Ternate, Belanda, Inggris, hingga Spanyol pernah menduduki benteng ini.Â
Kini benteng yang awalnya bernama Fort Saint Lucas itu menjadi salah satu destinasi wisata sejarah di Ternate yang cukup populer.
Pembangunan Benteng Tolukko yang juga pernah dikenal dengan nama Fort Hollandia ketika dikuasai Belanda itu akhirnya membuka kedok Portugis.Â
Bangsa penjelajah ini tidak sekedar membangun pos dagang, tetapi hendak memonopoli seluruh perdagangan cengkeh di wilayah ini. Dikira sekedar bangsa penjelajah, ternyata hendak menjadi penjajah.
Di benteng yang kini tinggal reruntuhan inilah Sultan Hairun dibunuh pada tahun 1570. Tindakan biadab Portugis langsung dibalas Sultan Babullah, anak Sultan Hairun. Setelah mengepung benteng ini selama lima tahun, pasukan Ternate akhirnya berhasil mengusir Portugis pada tahun 1575.
Kisah benteng Kastella yang pernah dinamai Benteng Gammalamma itu memang sarat perseteruan antar bangsa penjajah.Â
Setelah menguasai benteng ini, Spanyol menamakan benteng ini 'Ciudad del Rosario'. Namun, setelah bertikai dengan Belanda, Spanyol didesak angkat kaki dari Ternate pada tahun 1663.
Tidak terlalu jauh dari bekas Benteng Kastella, sebuah benteng lain masih berdiri kokoh di tepi laut dan persis menghadap ke arah Pulau Tidore. Itulah Fort Kalamata yang juga terkenal dengan nama Benteng Kayu Merah (Red Wood Fort) karena berada di desa Kayu Merah, Ternate.
Benteng Kalamata dibangun pada tahun 1540 dengan desain menyerupai empat penjuru mata angin yang memiliki empat bastion berujung runcing dan memiliki lubang bidik. Setelah ditinggalkan Portugis, giliran pasukan Spanyol yang mendudukinya pada tahun 1625.