Sebelum terbentuknya dinasti Bani Umayyah, kita mengkaji bagaimana sepak terjang Muawiyah dalam membangun Dinasti ini yang sebelumnya dipimpin oleh khulafaur rasyidin, diawali dengan keberhasilannya dalam perang Shiffin yang melengserkan Ali bin Abi Thalib dari kursi ke khilafahan hingga peristiwa 'amm jama'ah.
Dimulai ketika pembunuhan Utsman bin Affan yang merupakan masih kerabat Muawiyyah pada tahun 656 M, yang kemudian dibaiatlah Ali bin Abi Thalib oleh kaum Muhajirin dan Anshar.
Namun, setelah pembaiatannya, Thalhah bin Ubaidillah dan Zubair bin Awwam menentangnya dikarenakan pengajuan hukuman qishas atas kematian Utsman ditangguhkan oleh Ali, hal ini disebabkan banyaknya massa sehingga tidak bisa menuntut mereka sekarang. Disisi lain, Aisyah (Istri Rasulullah) juga mendukung mereka untuk membalas dendam atas kematian Utsman, begitupula dengan Muawiyyah.
Hingga pecahlah perang Jamal diantara pasukan Ali bin Abi Thalib melawan Aisyah, Thalhah bin Ubaidillah serta Zubair bin Awwam di Basrah yang dikarenakan terkena hasutan oleh golongan Saba'iyyah.
Perang berakhir dengan kemenangan Ali dan terbunuhnya Thalhan serta Zubair dalam peperangan. Namun, dengan berakhirnya tidak mengakhiri propaganda pada masa kekhalifahan Ali, Muawiyah tampil sebagai orang yang berhak untuk menuntut qishas atas kematian Utsman, dan ia mengira Ali bin Abi Thalib sengaja untuk tidak melakukan hal tersebut.
Sehingga Muawiyah menolak pembaiatan Ali sebagai khalifah. Dengan adanya kesalahpahaman ini, meletuslah perang di daerah Shiffin tepi sungai Furat.
Muawiyah yang terkenal dengan wataknya tegas dan keras, bertahan untuk mengambil jalan perang sebelum tuntutan tersebut terealisasikan. Sehingga peperangan terjadilah dalam jangka waktu yang relatif sempit dan sengit.
Dalam sejarah tercatat, bahwa kemungkinan besar pasukan Ali akan mendapat kemenangan dalam perang, namun ditengah peperangan Amr bin Ash mengangkat mushaf sebagai tanda kembali pada pedoman dan hukum Allah serta mengambil jalan damai dan pertempuran berakhir.
Dengan menggunakan metode arbitrase sebagai penengah antara pihak yang bertikai, maka dipilihlah dua orang untuk menjadi wakil dari masing-masing pihak yang bertikai. Dari pihak Ali bin Abi Thalib, dipilihlah Abu Musa Al-Asy'ari dan dipihak Muawiyah adalah AMr bin Ash.
Dalam kesepakatan yang mereka buat bahwa menetapkan untuk menurunkan Ali bin Abi Thalib dan Muawiyah dari jabatannya. Sehinggaberdasarkan tradisi orang Arab, mempersilahkan orang yang lebih tua terlebih dahulu untuk berbicara dan yaitu Abu Musa yang menetapkan untuk menurunkan Ali bin Abi Thalinb dari kursi khilafah dan Muawiyah dari kursi gubernurnya di Damaskus.
Namun, dengan siasat politik Amr bin Ash, ketika ia berpidato setelah Abu Musa, ia hanya menurunkan Ali dari kursi khilafah. Dalam insiden ini, terpecahlah umat muslim menjadi dua golongan, yaitu Khawarij dan juga Syi'ah.