Munculnya Syiah berawal dari kejadian politik yang muncul dimasa khalifah ke-4 yaitu masa-nya khalifah Ali bin Abi Thalib.
Syi'ah yang secara bahasa berarti pengikut atau golongan. Pada awal kepemimpinan khalifah Ali bin Abi Thalib, pengikut Khalifah Ali dalam perang siffin disebut Syi'ah Ali(pengikut Ali).
Menurut Ath-Thabathtaba'I (1903-1981 M) Istilah "Syi'ah" ditujukan kepada para pengikut Ali, pemimpin pertama Ahl Bait pada masa Nabi SAW. Para pengikut Ali yang disebut Syi'ah diantaranya adalah Abu Dzar Al-Ghifari, Miqdad bin Al-Aswad, dan Ammar bin Yasir.(Ilmu Kalam edisi revisi, Prof. Dr. H. Abdul Rozak, M,Ag dan Prof. Dr. H. Rosihon Anwar, M,Ag. Halm.112 dan Islam syi'ah, Asal-usul dan pengembangannya, M.H.Thabaththaba'I hal.37 dan hal.71)
Di generasi pertama ini sama sekali tidak melebihkan golongan mereka diatas golongan sahabat secara umum,apalagi mencaci mereka. Syi'ah Ali ini berpihak pada Ali murni karena beliau adalah pemimpin mereka. (Mengenal SYI'AH dan Penyimpangannya, Dr.KH. Abdullah Syamsul Arifin,MHI, hal. 1)
Lalu munculah generasi Syi'ah yang kedua yaitu dua atau tiga tahun usai perang siffin, yang menganggap Syaidina Ali r.a memiliki kelebihan yang melebihi dari khalifah sebelumnya dan sahabat-sahabat Rasulullah yang lainnya.
Namun, Syi'ah kedua ini tetap seperti Syi'ah yang pertama, tidak mencaci-maki, menyebarkan kebencian atau pengafiran terhadap sahabat-sahabat Rasulullah yang lainnya. Kebenaran Syi'ah Ali yang kedua ini masih dapat dibenarkan karena keutamaan Syaidina Ali memang banyak di sebutkan dalam hadis Nabi SAW. Tokoh-tokoh diantarnya ada Abdul Aswad al-Du'ali, Yahya bin Umair, Abdur Razzaq pemilik kitab mushannaf dan lain-lain.
Baru ketika Abdullah bin Saba', seorang Yahudi yang baru massuk Islam, menghidupkan Api fitnah. Dia mengultuskan syaidina Ali secara berlebihan sehingga setara dengan kenabiannya Rasulullah SAW.
Dia juga yang membuat pengikutnya untuk menganggap sahabat yang hadir didaerah Khum itu murtad pada saat khotbah terakhir Rasul, karena menurutnya dalam sabda terakhir itu mengandung wasiat untuk memilih Ali sebagai khilafah setelah Rasul. Golongan ketiga inilah yang kemudian dalam sejarah dikenal dengan sebutan Syi'ah Saba'iyah yaitu kaum Syi'ah pengikut Abdullah bin Saba' yang sekarang telah punah.
Namun muncullah dimasa Khalifah bani ummayah yang kesupuluh Hisyam bin Abdul Malik, yang dimana ketika wilayah kuffah dipimpin oleh gubernur Yusuf terjadi ketegangan dengan Zaid bin Ali ulama besar anak dari Zainal Abidin yang termasuk cicitnya syaidina Ali dari syaidina Husain. Dari ketegangan itu dipanggillah keduanya oleh khalifah Hisyam bin Abdul Malik, terjadinya pertentangan ideologi yang membuat khalifah marah kepada pernyataan Zaid bin Malik begitu juga sebaliknya yang kemudian mengusirnya Zaid bin Ali dari Istana. Ketika beliau kembali ke Kuffah banyak pengikutnya mencalonkan beliau sebagai khalifah.
Ketika masa kebangkitan Zaid bin Malik, beliau mendapat pertanyaan-pertanyaannya dari pengikutnya mengenai khalifah Abu Bakar dan Umar bin Khattab.Beliau mengatakan kepada para pengikutnya yang tidak menganggap khalifah Abu Bakar dan Khalifah Umar dengan pernyataan " " artinya "kalian menolakku?", dan mereka keluar dari pengikutnya Zaid bin Ali. Hal inilah permulaan disebutnya, yaitu Syi'ah yang menolak pernyatan Zaid bin Ali bahwa Abu Bakar dan Umar bin Khattab adalah orang benar. Dan pengikut setianya Syi'ah Rafidhah Zaid bin Ali disebut Syi'ah Zaidyah.
(Read. https://konsultasisyariah.com/22536-mengapa-syiah-dinamakan-rafidhah.html)
Akan tetapi perkembangan Syi'ah Zaidyah ini cukup terhambat untuk tersebar luas dimasa Khalifah Hasyim, karena pemahaman yang dianut oleh Syi'ah Zaidyah sangat bertentangan dengan Khalifah Hasyim. Ketika masa kebangkitan pengikut Zaid bin Ali sudah mencapai sekitar 50.000, namun ketika hendak berperang melawan Khalifah Hasyim, para pengikut Zaid bin Ali dikurung dimasjid kuffah dan peperangan yang tak seimbang itu, pengikut Zaid bin Ali sekitar 280 orang dan ada yang menyebutnya sekitar 300 orang.
Peperanga berakhir selama dua hari dengan terpanahnya Zaid bin Ali dibagian jidatnya, dan mati sebagai Syahid melawan pemerintah yang dzalim, yang kemudian dipenggal kepalanya untuk dikirim ke khalifah yang oleh khalifah dikirim ke Mesir sedangkan tubuhnya tetap digantung hingga meninggalnya Khalifah Hasyim lalu dibakar oleh khalifah setelahnya. Syi'ah Zaidyah ini diteruskan oleh anaknya yaitu Yahya bin Zaid. Namun Syi'ah Zaidyah ini tidak berkembang pesat seperti Syi'ah Rofidoh. Syi'ah Rofidoh ini menjadi Mahsyur dikalangan ummat islam sampai sekarang, yang memiliki ideology yang mirip dengan Syi'ah Saba'iyah yang dibawa oleh Muallaf Abdullah bin Saba'.
Kemiripan Syi'ah yang dibawa oleh Abdullah bin Saba' dan Syi'ah Rofidoh ini dengan Ajaran Yahudi dan nasrani.
Syi'ah sebagai Golongan baru yang ekstrem beroperasi seperti layaknya Agama Nasrani dan Yahudi dalam hal kebohongan dan kekufuran. Kebohongan disini ialah pengkafikaran kepada Khalifah Abu Bakar dan Khalifah Umar bin Khattab serta pemurtadan kepada jama'ah khotbah terakhir Rasulullah SAW, dan kekufuran yang sendiri yang disembunyikan tentang kebenaran bahwa Khalifah Abu Bakar dan Khalifah Umar bin Khattab sebagian dari sahabat yang dijamin masuk Syurga oleh Rosulullah SAW, bahkan suatu hal yang paling ekstrem di Syi'ah ini pernyataan bahwa Syaidina Ali bin Abi Thalib sebagai Tuhan mereka, adapun pernyataan yang moderat adalah Matahari telah dibuat terbit kembali setelah terbenamnya diufuk barat sebanyak dua kali demi kepentingan Syaidina Ali semata. (Mengenal SYI'AH dan Penyimpangannya, Dr.KH. Abdullah Syamsul Arifin,MHI, hal.5). Kemiripan lainnya ialah masalah Imam Mahdi, menurut mereka Imam Mahdi dibangkitkan dihari kiamat tidak untuk menegakkan ajaran Islam, tapi untuk ajaran Yahudi.
Bahkan menurut Al-Sya'bi tokoh Ahlussunnah, Yahudi dan Nasrani memiliki nilai lebih dari Syi'ah Saba'iyah dan Syi'ah Rofidhoh karena menurutnya ketika ditanya kepada orang yahudi tetang siapa pemeluk agama kalian yang terbaik, maka mereka menjawab "para sahabat Musa", begitu juga ketika ditanyakan kepada ummat Nasrani mereka menjawab "para sahabat Isa", namun berbeda ketika ditanyakan kepada Golongan Syi'ah ini mereka akan menjawab"para sahabat nabilah pemeluk agama yang terburuk".
