Berikut beberapa faktor terjadinya kelemahan serta kemunduran Bani Fatimiyah. Menurut Didin Sefuddin Buchori, 2009 beberapa faktor penyebabnya adalah pertama, politik Fatimiyah yang keras terhadap masyarakat Sunni Mesir untuk menganut dan mengakui ajaran Syiah.Â
Pada masa al-Aziz, misalnya, ia pernah membatalkan shalat tarawih di seluruh masjid pada tahun 372 H. Sementara, pada masa al-Hakim, ia pernah menyuruh algojonya untuk membunuh siapa saja yang tidak mengakui keistimewaan Ali. Bahkan, klimaksnya adalah al-Hakim pernah mengaku dirinya sebagai Tuhan (Didin Saefuddin Buchori, 2009).Â
Kedua, peran khalifah yang tidak berfungsi secara utuh. Dari sekian banyaknya khalifah ada beberapa yang diangakat menjadi khalifah ketika usianya masih sangat belia yaitu al-Hakim yang berusia 11 tahun dan al-Mustanshir yang diangkat menjadi khalifah pada usia 7 tahun. Usianya terbilang masih sangat belia maka untuk memangku jabatan khalifah ia butuh pendamping yang disebut dengan Barjuan.
Ketiga, persaingan dan perebutan dalam menduduki kursi wazir khalifah. Pada awal dinasti ini memobilisasi pendukung di Afrika Utara, sebagian besar pengikutnya berasal dari bangsa Barbar (Didin Saefuddin Buchori, 2009). Keempat, terjadinya pemberontakan di Mesir dan sekitarnya.Â
Ketika al-Mustanshir berkuasa (1036-1094), terjadi perselisihan antara para jenderal dan wazir (Didin Saefuddin Buchori, 2009). Kelima, lemahnya perekonomian rakyat dan negara. Salah satu yang menjadi sumber kehidupan manusia yaitu air yang dihasilkan dari sungai Nil mengalami penyusutan dan kekeringan.Â
Peristiwa ini terjadi bertahun-tahun sehingga berpengaruh pada sektor pertanian dan perekonomianpun juga ikut berpengaruh. Akibatnya, panen hancur, kelaparan meluas, dan wabah penyakit menyebar tanpa bisa dicegah (Didin Saefuddin Buchori, 2009)