Umar mengajak Abu Bakar dan Abu Ubaidah bin Jarrah untuk berangkat ke pertemuan kaum Anshar di Bani Sa'idah. Di hadapan kaum Anshar Abu Bakar berpidato tentang keistimewaan kaum Anshar dan kaum Muhajirin, di antaranya bangsa Arab tidak akan tunduk kecuali kepada kaum Muhajirin, di dalam al-Qur’an  Allah telah mendahulukan kaum muhajirin daripada kaum Anshar. Setelah berdebat mana yang lebih berhak memimpin, selanjutnya diadakan pemilu dan kedua belah pihak tersebut memilih Abu Bakar menjadi pemimpin mereka. Dengan demikian hilanglah perselisihan tentang mana yang lebih berhak dan umat Islam kembali bersatu.Â
Kemudian masalah baru muncul ketika Ali tidak hadir dalam sidang pembaiatan Abu Bakar, dan setelah itu terlihat ketidakpuasan dari pihak Ali. Pengikut Ali, Abu Bakar, dan Umar kemudian merebut kekuasaan dari Ali untuk menjadi khalifah. Muncul pendapat bahwa hak memegang khalifah seharusnya ada pada keluarga Nabi, dan Ali dianggap paling pantas karena hubungannya sebagai menantu Rasul, prestasinya dalam jihad, pengetahuannya yang luas, dan kedudukan keluarganya yang terhormat di kalangan Arab. Meskipun demikian, Ali akhirnya membaiat Abu Bakar setelah beberapa waktu. Setelah wafatnya Abu Bakar, kepemimpinan khalifah dipegang oleh Umar bin Khatab yang berhasil memperluas wilayah kekuasaannya.
Perkembangan Syiah di Indonesia
Menurut Jalaluddin Rahmat perkembangan Syiah menjadi 4 gelombang,Â
Yang pertama kedatangan Syiah di Indonesia mulai dari masuknya islam di Indonesia yaitu melalui para penyebar islam yang tinggal di Gujarat. Awal kedatangan Syiah di Aceh, penyebaran Syiah tidak banyak mengalami benturan dengan golongan lain. Karena pola dakwah yang Syiah lakukan menggunakan prinsip taqiyah untuk menghindari tekanan dari pihak penguasa.Â
Yang kedua Syiah masuk ke Indonesia setelah revolusi Islam di Iran pada 1979. Ketika orang Syiah mendadak punya negara. Sejak kemenangan Syiah pada Revolusi Iran, muncul simpati yang besar di kalangan aktivis muda Islam di berbagai kota terhadap Syiah.
Yang ketiga didorong oleh para Habib (keturunan arab/ Nabi) atau orang-orang Syiah yang pernah mengenyam pendidikan di Universitas Qum, Iran. Karena pemahaman Syiah sudah masuk ke ranah fikih dan mulai tumbuh benih konflik secara terbuka.Pada era Reformasi sebagai era keterbukaan, membawa perubahan besar pada prinsip dakwah golongan Syiah. Syiah tidak lagi mendakwah dengan menggunakan doktrin taqiyah.
Yang keempat golongan Syiah membentuk komunitasnya sendiri yaitu, IJABI ( ikatan jemaah ahlul bait) yang berdiri pada 1 juli 2000. Secara terbuka keberadaan Syiah semakin diakui oleh masyarakat Indonesia.
Pengaruh golongan Syiah dalam Islam
Pengaruh Syiah ada 2 positif dan negatif :
1.) Pengaruh positif : banyak ulama Syiah yang berkontribusi besar dalam ranah ilmu pengetahuan terutama di bidang filsafat,teologi,dan hukum islam. Tidak hanya itu banyak dinasti-dinasti dan kerajaan besar yang di pengaruhi syiah seperti dinasti fatimiyah Mesir,safawiyah Iran dan buyid Persia yang berkontribusi dalam seni,arsitektur dan ilmu pengetahuan tidak bisa di lupakan.