Ada beberapa penyebab yang diajukan oleh para sejarawan. Beberapa yang utama antara lain:
1. Provokasi oleh kaum Saba'iyah dipimpin oleh Abdulah bin Saba.
Abdullah bin Saba adalah Yahudi dari Sanaa, Yaman, kemudian masuk Islam. Ibunya dari Abisinia bernama Sauda. Ia menanamkan kebencian orang awam terhadap Utsman. Provokasi politiknya adalah kecaman bahwa Utsman telah merampas hak kekalifahan dari Ali. Karena kegiatannya ini pula Ibn Saba berpindah-pindah kota karena diusir oleh pemerintah kota sampai akhirnya ke Mesir.
Riwayat di atas ditulis oleh Sayf bin Umar al-Tamimi. Tulisan Syaf bin Umar ini banyak dikutip oleh para sejarawan Islam, termasuk Tabari. Seluruh kisah Abdullah bin Saba seperti di atas ditulis oleh para sejarawan yang penelusuran sumbernya pada akhirnya berujung kepada buku Syaf bin Umar ini.
Versi lain cerita Abdulah bin Saba yang tidak berasal dari Sayf bin Umar, menceritakan adanya seorang miskin bernama Abdullah bin Saba yang hidup di masa Kalifah Ali. Dia menyatakan dirinya sebagai Nabi dan Kalifah Ali adalah Allah. Ketika Kalifah Ali mendengar peristiwa ini, ia langsung menangkap Abdulah bin Saba dan memenjarakannya. Ketika Kalifah Ali memerintahkan Abdulah bin Saba untuk bertobat, dia tetap menolak. Oleh karena itu Kalifah Ali memerintahkan Abdullah bin Saba dihukum bakar.
Versi lainnya lagi, tersebutlah Abdulah bin Wahab al-Saba'i, yaitu pemimpin pertama dari kelompok Kharawij. Tokoh ini anggota suku Saba'iyah yang asal-usulnya berasal dari Yaman.
Para sejarawan berdebat mengenai keberadaaan tokoh ini, ada yang mengatakan tokoh ini fiksi, ada yang menegaskan tokoh nyata. Kelompok Syiah kontemporer cenderung percaya bahwa 3 versi Abdullah bin Saba itu merupakan 3 karakter yang berbeda. Karakter yang ditulis oleh Sayf bin Umar adalah karakter fiksi, sementara karakter versi kedua (yang mengaku Nabi) dan ketiga (pemimpin Khawarij) adalah dua orang tokoh nyata yang berbeda. Lihat detilnya di sini . Sementara kelompok Sunni saat ini cenderung mengganggap 3 versi Abdullah bin Saba itu adalah satu karakter pada satu orang tokoh nyata yang sama. Lihat di sini
Sementara itu Abdulah bin Saba sama sekali tidak disinggung oleh Al Suyuthi dalam bukunya yang banyak jadi rujukan, "Tarikh Al-Khulafa".
2. Pendapat lain mengemukakan perpecahan ini karena sifat dasar bangsa Arab.
Konflik bermula dari daerah-daerah jauh dari Medinah (Mesir, Kufah, Basra, Damaskus) yang bukan pemeluk Islam awal, tidak pernah bertemu atau dibimbing langsung oleh Rasulullah. Tokoh-tokoh yang terlibat konflik banyak yang berasal dari generasi setelah penaklukan Mekkah, bukan dari kelompok Muhajirin atau Ansar. Oleh karena itu, persaingan antar kabilah yang sudah hilang pada masa Rasulullah, timbul kembali pada masa ini, 20 tahun setelah wafatnya Rasulullah. Seperti diketahui, Utsman, Muawiyah dan banyak tokoh pro Utsman adalah dari bani Umayah, sementara Rasullullah dan Ali bin Abi Thalib berasal dari bani Hasyim. Bani Umayyah dan bani Hasyim adalah 2 kabilah utama yang saling bersaing di suku Quraisy penguasa Mekkah pada jaman jahiliyah. Sementara Abu Bakar dan Umar bin Khattab bukan berasal dari 2 kabilah ini.
3. Pendapat lainnya menyebutkan karena perbedaan kepemimpinan antara Ali dan Utsman.
Pada jaman Umar bin Khattab, dia tidak mengijinkan tentara Islam (Medinah) memiliki tanah di daerah yang baru ditaklukkan. Para tentara dikumpulkan di pinggir kota membentuk garnisun tersendiri. Pada jaman Utsman, para penakluk dari Medinah diijinkan memiliki tanah di daerah taklukan. Bahkan mereka diberi akses ke baitul maal untuk meminjam dana yang digunakan untuk membeli tanah-tanah di daerah baru. Maka lahirlah kelas elit baru yang makin kaya. Kebetulan karena banyak tokoh-tokoh pemerintahan dan gubernur berasal dari bani Umayyah yang diangkat oleh Utsman, maka kelompok elite baru ini kebanyakan berasal dari bani Umayyah.
Ketika Ali diangkat menjadi Khalifah, maka dia mengganti semua gubernur yang diangkat oleh Utsman. Tidak ada yang sukarela menyerahkan jabatannya. Bahkan gubernur Yaman melarikan diri ke Mekkah dengan membawa semua dana di baitul maal. (Kemudian dana ini yang digunakan mensponsori gerakan Aisyah yang berakhir di perang Unta itu). Kemudian Ali menyerukan seluruh umat Islam kembali ke gaya hidup sederhana seperti yang dicontohkan Umar bin Khattab. Seruan ini ditolak oleh kelas elit baru yang kaya, dan kebanyakan dari mereka melarikan diri ke Damaskus bergabung dengan Muawiyah.
Mengapa konflik kekuasaan / politik bisa melahirkan suatu aliran teologi dan doktrin tersendiri yang bertahan sampai sekarang?
