Pasukan Muawiyah kemudian terdesak, dan pada saat kritis, penasehat Muawiyah, Amir bin Ash, memerintahkan agar memasang Al Quran di ujung tombak pasukannya, sebagai tanda bahwa pertempuran harus berhenti. Ali menduga ini hanya taktik dari Muawiyah, namun para penasehatnya membujuknya untuk menghentikan pertempuran. Kemudian kedua belah pihak berunding lagi.
Dari pihak Ali perundingnya adalah Abu Musa, dari pihak Muawiyah adalah Amir bin Ash. Disaksikan oleh sejumlah tokoh seperti Sa'ad bin Abi Waqqash dan Abdullah bin Umar. Abu Musa kemudian menyatakan memecat Ali sebagai Kalifah. Amir bin Ash kemudian menyatakan Muawiyah sebagai Kalifah dan membaiatnya.
Ali Audah menulis bahwa sebenarnya antara Abu Musa dan Amir bin Ash telah sepakat untuk masing-masing memecat Ali dan Muawiyah, kemudian menyerahkan pilihan Kalifah kepada suatu syura. Namun ternyata Amir bin Ash mengkhianati kesepakatan ini.
Hasil dari perundingan ini adalah terpecahnya kekalifahan Islam: Imam Ali di Timur (Semenanjung Arab, Irak, dan Persia), dan Muawiyah di Barat (Syiria dan Mesir).
Khawarij
Kesepakatan antara Ali dan Muawiyah di Siffin ternyata menghasilkan perpecahan di kelompok Ali. Ada yang setuju berdamai dengan Muawiyah, ada yang tidak. Pengikut Ali yang marah atas konsesi Muawiyah itu berpendapat bahwa Muawiyah tidak berhak atas kepemimpinan Islam, dan juga marah kepada Ali yang setuju berdamai dengan Muawiyah. Kelompok ini kemudian dikenal dengan kelompok Khawarij, yang berasal dari kata kharaju (keluar). Mereka menuntut Ali untuk membatalkan kesepakatan dengan Muawiyah. Ali tidak mau dan tidak bisa memenuhi tuntutan ini karena sudah menjadi perjanjian. Disamping itu, sebenarnya justru para penasehat Ali lah yang menganjurkan perdamaian padahal pada saat itu tentara Muawiyah sudah terdesak dan Ali sendiri sebenarnya ingin meneruskan pertempuran.
Khawarij adalah kelompok fanatik ekstrim yang anti Muawiyah dan anti Ali. Walaupun Ali kemudian menumpas kelompok ini setelah mereka tidak mau mendengarkan Ali dan berdamai, tetapi masih ada gerakan Khawarij yang tersembunyi.
Pada 40H, Khawarij merencanakan membunuh Muawiyah, Amr bin Ash, dan Ali bin Abi Thalib. Usaha membunuh Muawiyah gagal karena pengawalan yang ketat. Amr bin Ash selamat dari sergapan karena sedang sakit sehingga tidak muncul di mesjid. Namun Ali berhasil mereka bunuh ketika Ali menuju mesjid hendak salat subuh.
Hasan dan perdamaian dengan Muawiyah
Setelah Ali wafat, penduduk Kufah dipimpin oleh Qais bin Sa'd bin Ubadah membaiat Hasan sebagai kalifah kelima. Hasan semula menolak karena dia tidak terlalu berminat. Bahkan sebetulnya Hasan pernah menasehati Ali untuk tidak pergi ke Basra untuk urusan Aisyah dahulu. Kemudian Hasan didesak untuk berperang melawan Muawiyah menuntaskan urusan yang belum selesai antara Muawiyah dan Ali.
Hasan menyiapkan tentara dan sekaligus menyiapkan perdamaian. Sejarah kemudian mencatat bahwa Hasan berdamai dengan Muawiyah, menyerahkan kekalifahan kepada Muawiyah, pindah ke Medinah kemudian mengundurkan diri dari dunia politik, dan hidup dari uang pensiun Muawiyah. Salah satu syarat perdamaian Hasan kepada Muawiyah adalah Muawiyah harus setuju bahwa pengangkatan kalifah setelah Muawiyah harus berdasarkan syura; dan tidak melakukan kekerasan kepada para pengikutnya, termasuk kepada keluarga Ali bin Abi Talib. Versi lainnya menyebutkan bahwa Muawiyah menawarkan jabatan kekalifahan kepada Hasan setelah Muawiyah, namun Hasan menolak.
Hussein dan Karbala
Hasan wafat enam bulan setelah mengundurkan diri ke Medinah karena diracun oleh istrinya sendiri, Ja'dah binti Asy'ats bin Qais. Yazid bin Muawiyah menipunya, menjanjikan akan menikahinya dan memberinya uang bila mau meracun Hasan (Al-Suyuthi). Muawiyah kemudian membaiat anaknya Yazid menjadi kalifah. Hal ini melanggar perjanjian Muawiyah dengan Hasan. Hussein tidak mau membaiat Yazid. (Ali Audah)
Hussein saat itu sudah tinggal di Mekkah. Ketika Yazid dilantik menjadi kalifah, penduduk Kufah mengirimkan beberapa utusan dan surat kepada Hussein untuk bersedia datang ke Kufah untuk memimpin lagi mereka. Setelah menimbang beberapa waktu, Hussein setuju berangkat ke Kufah dengan seluruh keluarganya termasuk perempuan dan anak-anak. Rombongan Hussein hanya berjumlah sekitar 75 orang berangkat dari Mekkah ke Kufah.
Rombongan ini dicegat tentara Yazid dibawah pimpinan Ubaidilah bin Ziyad. Terjadi pertempuran tidak seimbang dan Hussein dan seluruh rombongan tewas termasuk anak-anak dan kemenakannya, kecuali satu orang anaknya yaitu Ali Zainal al-Abidin, yang kelak dikenal sebagai Imam keempat dalam teologi Syiah.
Mengapa umat Islam masa awal bisa terjebak dalam fitnah dan konflik perpecahan?
