Generasi pertama umat Islam mulai mempersoalkan suatu keadaan dimana Rasulallah SAW. yang pada saat itu adalah seorang pemimpin umat Islam yang ditunjuk langsung oleh Allah SWT. untuk memimpin umat Islam telah wafat. Setelah wafatnya Rasulallah SAW. generasi umat islam pertama, yaitu kaum Muhajirin dan Kaum Anshor mulai mempersoalkan masalah politik dan kekuasaan pemerintahan tentang siapa yang akan menggantikan Rasulallah SAW. Dan mampu memimpin seluruh umat islam pada waktu itu. Kaum Muhajirin dan kaum Anshor memulai menyelesaikan persoalan ini dengan cara berkumpul di balai kota yang bertempat di Bani Sa'idah yang tepatnya berada di Madinnah dan melakukan Musyawarah.
Baca juga: Meneladani Kejujuran dan Kedermawanan Kekasih Rasulullah Abu Bakar As Siddiq
Kaum Anshor menunjuk Sa'ad Ibn Ubadah untuk dicalonkan menjadi Pemimpin, sedangkan kaum Muhajirin menunjuk Abu Bakar Ash-shidiq untuk menjadi pengganti Rasulallah SAW. Abu Bakar layak menjadi Pengganti Rasulallah SAW. Karena Abu Bakar pernah menggantikan Rasulallah dalam memimpin shalat berjamaah. Sebab itulah akhirnya Abu Bakar ash-shidiq terpilih sebagai pengganti Rasulallah SAW. Pemilihan tersebut dilakukan dengan cara demokrasi.
Masa pemerintahan Abu Bakar Ash-shidiq hanya selama 2 tahun, dari tahun 11-13 H/ 632-634 M. sistem pemerintahan selama Abu Bakar menjadi pemimpin bersifat sentral yang dimana kekuasaan legislatif, eksekutif dan yudikatif berda di tangan khalifah, selain itu, seorang khalifah pun menjalankan hukum.
Usaha-usaha yang telah dilakukan Abu Bakar dalam masa kepemimpinannaya adalah beliau telah memenuhi keinginan rasulallah, yaitu mengirimkan seseorang ke perbatasan syiria untuk membalas pembunuhan ayahnya zaid dan kerugian-kerugian pada saat perang mut'ah, selain itu abu bakar menghentikan kekacauan di luar dan di dalam negeri, memerangi orang-orang yang tidak mau membayar zakat dan memberantas Nabi-nabi Palsu yang muncul pada waktu itu.
Pada hari senin 23 agustus 624 M. saat berusia 63 tahun. Masa pemerintahan Abu Bakar pun berakhir yang berlangsung selama 2 tahun 3 bulan dan 11 hari. Dikarenakan Abu Bakar wafat setelah 15 hari berbaring di tempet tidurnya. Sebelum wafatnya abu bakar, di saat beliau berbaring sakit, Abu bakar menyelidiki para tokoh terkemuka dengan car diam-diam untuk siapa yang pantas menggantikan beliau. Pilihannya berpusat kepada Umar bin Khattab. Lalu diangkatlah Umar sebagai khalifah selanjutnya.
Masa Pemerintahan Umar berlangsung dari 13-23 H/ 634-644 M. Pada Masa Pemerintahan Umar sistem pembayaran gaji dan pajak tanah mulai di koordinasi dan di tertibakan oleh beliau. Pengadilan-pengadilan mulai didirikan dan Umar pun menerapkan sistem demokratis dalam kekuasaannya. Dan juga administrasi pemerintahan terbagi menjadi delapan wilayah, yaitu Makkah, Syiria, Jazirah, Madinah, Mesir, Basrah, Kuffah dan Palestina. Setelah Umar bin Khattab memerintah selama 10 tahun 6 bulan Beliau wafat.
Baca juga: Umar bin Khathab R.A.: Pemimpin Tegas dan Lembut Dambaan Umat
Dikarenakan ada seorang budak yang bernama Abu Lu'luah membunuh Umar dari belakang saat hendak melaksanakan sholat shubuh berjamaah. Sebelum Umar wafat beliau sempat menunjuk seorang sahabat untuk menggantikan beliau. Pada saat itu ada enam orang yang di calonkan, yaitu Abdurrahman bin auf, Thalhah bin Ubaidillah, Zubair bin Awwan, Utsman bin Affan, Saad bin abi Waqqash dan Ali bin Abi Thalib dan umar sempat mencalonkan anaknya namun tidak boleh dipilih, lalu mereka pun bermusyawarah dan hasilnya Utsman mendapatkan 4 suara dibandingkan Ali yang hanya mendapatkan 3 suara.
Masa pemerintahan Utsaman berlangusung dari 23-35 H/ 644-656 M. Pada masa Pemerintahan Utsaman, beliu mempercayakan pelaksanaan administrasi pemerintahan daerah kepada seorang gubernur untuk bertugas di 10 wilayah Madinnah yang telah ditetapkan oleh Utsman.
Kekuasaan legislatif pada masa itu di pegang ileh dewan penasehat syura, dan juga pada masa pemerintahannya, beliau juga memiliki prestasi tinggi dalam menyusun alquran standar, jadi alquran tersebut diselaraskan dengan bacaan dan tulisannya. Utsman juga berjasa dalam membantu dalam pembuatan bendungan untuk menjaga banjir yang akan datang sewaktu-waktu, membangun jembatan, jalan-jalan dan memperluas masjid-masjid yang berada di Madinnah.