Umar menjabat sebagai khalifah selama 10 tahun yaitu pada tahun 634 M sampai 644 M. Dan dalam kepemimpinannya ini Islam mengalami kemajuan yang sangat pesat.
Selama masa pemerintahannya Umar mengambil beberapa kebijakan politik, diantaranya adalah melanjutkan ekspansi yang telah dirintis oleh Abu Bakar, reformasi dalam pemerintahan, mengatur tatanan pertahanan, serta reformasi dalam budaya yaitu dengan menetapkan penanggalan hijriyah.
Untuk khalifah yang ketiga yaitu Utsman bin Affan, dimana ia menjabat pemerintahan selama 12 tahun. Dalam periodenya ini, awalnya Islam mengalami kemajuan yang sangat pesat. Namun, menuju akhir kepemimpinannya Islam mengalami kemunduran hingga akhirnya beliau wafat karena dibunuh.
Semasa pemerintahannya, kebijakan yang dilakukan Utsman adalah melakukan ekspansi wilayah Islam, membuat armada laut yang kapalnya sangat kokoh dan kuat, menggiatkan pembangunan bendungan, jalan-jalan, jembatan-jembatan, dan masjid-masjid, serta menulis kembali penulisan mushaf Al-Qur'an.
Setelah wafatnya Utsman karena dibunuh oleh kaum pemberontak karena merasa kecewa terhadap kepemimpinan Utsman. Hal tersebut disebabkan karena Utsman mengangkat keluarga dalam kedudukan tinggi sehingga jabatan tinggi tersebut membuat mereka sewenang-wenang terhadap rakyat. Kemudian Ali bin Abi Thalib lah diangkat menjadi khalifah disaat Negara sedang kacau akibat pemberontakan tersebut.
Selanjutnya Ali melakukan beberapa kebijakan politik, diantaranya adalah memecat Gubernur yang berasal dari keluarga Utsman tadi yang bertindak sewenang-wenang, menarik kembali tanah yang dihadiahkan oleh Utsman, menumpas para pembangkang, memindahkan pusat pemerintahan dari Madinah ke Kuffah karena para pengikut Ali paling banyak berada di Kuffah, serta berusaha menghentikan perlawanan Mu'awiyah, namun perlawanan ini berujung peperangan yang bernama Perang Shiffin.
Perang Shiffin ini berakhir dengan tahkim antara kubu Ali dan kubu Mu'awiyah, namun tahkim ini tidak malah menyelesaikan masalah, tetapi dipenghujung pemerintahan Ali menimbulkan perpecahan umat Islam. Umat Islam terpecah menjadi 3 golongan, yaitu Mu'awiyah, Syi'ah (pengikut Ali), dan Khawarij (orang-orang yang keluar dari barisan Ali). Keadaan ini memang sangat tidak menguntungkan Ali, sementara posisi Mu'awiyah semakin kuat. Akhirnya, pada tahun 660 M Ali terbunuh oleh salah satu orang dari kaum Khawarij.
