Masing-masing pihak disetujui mengutus seorang perunding (hakam) Keputusan mereka mengikat kedua belah pihak. Dari pihak Ali diutus Abu Musa Al-Asy'arī, bekas gubernur Kufah yang pernah dipecatnya. Dari pihak Muawiyah, Amr bin Ash, penakluk dan bekas gubernur Mesir yang dulu dipecat khalifah Utsman.
Tahkim atau perundingan diselenggarakan pada bulan Ramadhan 37 H/Januari 659 M, di suatu tempat bernama Dumat Al-Jandal, terletak antara Madinah Damaskus. Agenda perundingan ialah: pertama, Utsman terbunuh secara zalim, kedua, siapa yang tepat untuk menjadi khalifah.
Mengenai agenda pertama, Amr berhasil meyakinkan Abu Musa bahwa Utsman terbunuh secara zalim. Oleh karena itu, Muawiyah adalah orang yang paling pantas menuntut bela atas kematian Utsman.
Mengenai agenda kedua, ide yang dikemukakan Abu Musa ialah menghentikan pemerintahan Ali dan Muawiyah dari jabatan masing- masing dan kemudian diserahkan kepada kaum muslimin untuk mencari penggantinya. Usul itu disetujui oleh Am
Untuk menyampaikan hasil perundingan di atas ke khalayak ramai, Abu Musa tampil lebih dulu menyampaikan apa adanya. Sementara Ami yang tampil kemudian menyatakan bahwa dia telah menurunkan Ali dari jabatannya sebagai khalifah dan menetapkan Muawiyah sebagai penggantinya.
Dari fakta sejarah di atas, diketahui bahwa dari pihak Muawiyah tidak ada maksud menyelesaikan perselisihan mereka dengan Ali melalui tahkim itu. Tahkim bagi mereka hanya sekadar menghindar dari kekalahan waktu Perang Shiffin. Termasuk menuntut bela atas kematian Utsman pun hanya kedok belaka. Sebenarnya Muawiyah ingin menjadi khalifah.
Peristiwa tahkim telah menimbulkan perpecahan di kalangan tentara Ali karena mereka tidak menerima hasil tahkim. Selain itu Ali pun tidak menerima hasil tahkim karena kedua hakam telah menyimpang dari Kitabullah dan Sunnah Rasul. Oleh karena itu, Ali tetap merasa dirinya sebagai khalifah dan Muawiyah sebagai pembangkang.
Dengan sisa kekuatan yang ada, Ali bertekad memerangi Muawiyah sekali lagi. Untuk itu ia berhasil menggugah hati 65.000 orang berperang. Dalam perjalanan menuju Syarn, ada berita dari Nahrawan bahwa orang- orang Khawarij melakukan berbagai tindak kekerasan, yaitu penyiksaan dan pembunuhan. Ali terpaksa membatalkan perjalanan ke Syam dan dialihkan menuju Nahrawan. Di sini Ali kembali ditinggalkan sebagian besar tentaranya.
Tentara Ali yang masih tinggal, mengusulkan agar kembali dulu ke Kufah untuk menyiapkan persenjataan yang lebih baik. Ali menerima usul itu. akan tetapi upaya Ali mengumpulkan mereka kembali tidak mereka indahkan. Keengganan mereka berperang bersama Ali karena beberapa sebab, antara lain. Ali hanya menghalalkan darah musuh, tetapi tidak boleh mengambil harta rampasan dari mereka. Kemungkinan lain, karena Ali tidak bisa memberikan finansial yang cukup bagi mereka. Suatu hal yang menjadi kelemahan Ali. Menurut riwayat, banyak prajurit Ali yang menderita akibat peperangan, namun Ali tidak dapat turun tangan untuk meringankan beban hidup mereka.
Secara militer, posisi Ali sudah lemah. Kesempatan itu digunakan Muawiyah merebut Mesir dan mengangkat Amr bin Ash menjadi gubernur di situ. Jabatan yang dulu pernah dipangkunya di masa Umar bin Khaththab. Sesudah itu, Muawiyah pun merebut Madinah dan Yaman, tetapi penduduk Makkah menolak mengakui Muawiyah.
