Anjuran untuk berdamai disikapi secara beragam oleh pasukan Ali. Khalifah berketetapan untuk melanjutkan peperangan, sementara sebagian lainnya berkata, "Seandainya mereka sudah meminta bertahkim kepada Kitabullah, apakah layak bagi kita untuk tidak menerimanya?" Atas desakan para sahabatnya, akhirnya Ali menerima ajakan untuk berdamai. Dalam perdamaian tersebut disepakati untuk diadakan perundingan. Pihak Muawiyah diwakili oleh Amr bin Ash, sedang pihak Ali bin Abi Thalib diwakili oleh Abu Musa Al-Asy'ari.Â
Dalam perundingan, keduanya sepakat untuk menyuruh Ali bin Abi Thalib dan Muawiyah mundur dari jabatannya masing-masing. Selanjutnya, khalifah akan diputuskan berdasarkan kesepakatan umat Islam. Namun, sebagai seorang yang terkenal cerdas, Amr bin Ash berhasil mengelabuhi Abu Musa Al-Asy'ari. Ia minta Abu Musa Al-Asy'ari berpidato terlebih dahulu karena lebih tua. Abu Musa pun naik ke atas mimbar. Dalam pidatonya, dia menegaskan kemunduran Ali dari kursi kekhalifahan. Setelah itu, giliran Amr bin Ash naik ke atas mimbar. Dalam pidatonya, dia menegaskan persetujuannya terhadap pendapat Abu Musa Al-Asy'ari. Kemudian, Amr bin Ash menyatakan kemunduran Muawiyah bin Abi Sufyan dari kekhalifahan. Namun demikian, Amr bin Ash langsung mengukuhkan Muawiyah bin Abi Sufyan sebagai khalifah yang sah.
Semenjak peristiwa tersebut, terjadi perpecahan di kelompok Ali bin Abi Thalib. Sebagian dari mereka menyatakan keluar dari Ali bin Abi Thalib dan menamakan dirinya sebagai kelompok khawarij (keluar) berjumlah sekitar 12.000 orang. Bahkan, mereka mengatakan bahwa Ali, Muawiyah dan Amr bin Ash (orang-orang yang terlibat dalam perundingan) adalah kafir. Pada tahun 38 H/659 M, Ali mengajak mereka berdialog, tetapi gagal karena mereka tetap pada pendirian bahwa menerima tahkim adalah kafir. Setahun kemudian, Ali berhasil memerangi kaum khawarij, tetapi beberapa orang yang melarikan diri bersepakat untuk membunuh ketiga tokoh yang terlibat dalam peristiwa tahkim tersebut. Pada tahun 39 H/660 M terjadi perdamaian antara Muawiyah dan Khalifah Ali dengan syarat Ali tidak mencampuri Wilayah Syam.Â
Pada 16 Ramadan tahun 40 H/661 M sebelum fajar, dua orang khawarij mengikuti Ali dari belakang. Ketika Ali sampai di depan pintu masjid agung Kufah, keduanya membunuh Ali. Nama pembunuh Ali bin Abi Thalib adalah Abdurrahman bin Muljam, seorang khawarij. Kaum Muslimin langsung mengepung dan menangkap kedua pembunuh tersebut. Mereka bertanya kepada Ali, "Apa yang harus kami perbuat terhadap mereka berdua?" Ali menjawab, "Jika aku bertahan hidup, aku mempunyai perhitungan tersendiri, jika aku mati, aku menyerahkan kepada kalian. Jika kalian membalas dendam, balaslah satu pukulan dengan satu pukulan serupa, tetapi jika kalian memaafkan, maka hal itu lebih dekat kepada ketakwaan."
Pada tanggal 19 Ramadan 40 H, Ali bin Abi Thalib menghembuskan nafasnya yang terakhir. Sebelum meninggal, Ali bin Abi Thalib berpesan, "Sepeninggalku, janganlah kalian memerangi kaum Khawarij. Sungguh orang yang mencari kebenaran tetapi terjabak dalam kekeliruan berbeda dengan orang yang menonjolkan kepalsuan dan terus mempertahankannya." Kemudian, seiring dengan wafatnya Khalifah Ali bin Abi Thalib, berakhirlah masa Khulafaurrasyidin. Terhitung mulai dari khalifah pertama sampai terakhir, hampir selama tiga puluh tahun lamanya. Dari semua itu, banyak hal yang bisa dipelajari dan diteladani, yang baik dijadikan sebagai bahan perbaikan karakter siswa agar kelak dapat berguna bagi nusa, bangsa dan agama.
