Setelah wafatnya Abu Bakar, Umar kemudian diangkat menjadi khalifah ke-2.
Abu Bakar memilih secara langsung Umar dengan cara mewasiatkan penggantinya tersebut sebelum kewafatannya.
Umar merupakan sahabat Rasulullah yang dulunya sangat membenci Islam dan bahkan ingin membunuh Rasulullah.
Umar baru masuk Islam ketika tahun ke-6 kenabian dan saat itu pula umat Islam menjadi sangat disegani.
Saat baru menjadi khalifah, tindakan pertama yang dilakukan Umar adalah mencopot jabatan Khalid bin Walid dari kedudukannya sebagai seorang panglima perang kemudian digantikan oleh Abu Ubaid.
Khalid dikenal sebagai seorang panglima perang yang mendapat julukan "Pedang Allah" karena ia selalu bereperan sebagai pemimpin dalam setiap pertempuran dan selau berhasil memenangkan pertempuran yang belum pernah terjadi sebelumnya.
Dengan modal tersebut, Khalid bin Walid terkenal dengan reputasinya yang sangat menonjol dan tak terkalahkan.
Ketika pencopotan dirinya, Khalid bin Walid awalnya merasa bahwa pencopotan ini adalah tindakan yang tidak adil. Khalid kemudian mengajukan banding kepada Umar.
Terjadilah perselisihan karena Khalid merasa dirinya tidak bersalah dan tidak melakukan suatu penipuan ataupun tirani.
Untuk menyelesaikan perselisihan ini, Umar kemudian bertindak namun tetap memberhentikan Khalid dari jabatannya. Tak lupa Umar kirimkan kepada gubernur-gubernur surat resmi bahwasanya Umar telah mencopot Khalid dari jabatannnya.
Dalam suratnya, Umar menuliskan bahwa pencopotan Khalid dari jabatannya bukan karena ia telah melakukan suatu tirani atau penipuan. Melainkan untuk suatu kepentingan.