Sebagai seorang pemimpin yang terlihat tegas dan keras namun Umar juga memiliki sifat dan tatakrama yang lembut sehingga dapat melakukan diplomasi terutama terhadap pasukan musuh maupun penduduk kota yang telah ditaklukan. Hal ini dapat dilihat dari peristiwa pembebasan kota Yerussalem yang terjadi pada tahun 637 Masehi.
Ketika pasukan Khalid bin Walid dan Amr bin Ash melakukan pengepungan di sekeliling kota suci. Uskup Sophronius yang merupakan kepala gereja hanya akan menyerahkan kota Yerussalem dengan syarat sang Khalifah Umar datang secara langsung untuk menerima kunci kota.
Berita tersebut sampai kepada Umar bin Khattab dan dengan segera berangkat dari Madinah menuju Yerussalem dengan hanya mengendarai keledai dan ditemani satu pengawal.
Sesampainya di Yerussalem Uskup Sophronius sudah menunggu untuk menyambut kedatangan Umar bin Khattab dan seketika merasa kagum dengan penampilan sang Khalifah yang terlihat sederhana meskipun Umar merupakan pemimpin besar kala itu. Kemudian Uskup Sophronius mengajak Umar untuk berkeliling kota dan mengunujungi gereja makam suci.
Setelah melalui beberapa perundingan dan negosiasi yang dilakukan oleh Umar akhirnya Uskup memberikan kunci kota Aelia ( nama Yerussalem pada masa tersebut ) kepada Umat Islam.
Sebagai timbal baliknya dan dalam rangka mempererat ukhuwwah dengan kota yang ditaklukan maka Umar pun mengadakan perajnjian bersama Uskup dan rakyat Yerussalem sebagai jaminan keamanan dan perdamaian terhadap kota tersebut.
Perjanjian ini dikenal dengan "Uhda al-Umariyyah " yang isinya menjelaskan bahwa keamanan dan ketentraman masyarakat Yerussalem akan slalau menjadi jaminan berserat kewajiban Umat Muslim. Tidak ada paksaan untuk mengikuti Agama Islam dan seluruh kaum Nasrani mendapatkan kebebasan dalam melaksanakan peribadatannya.
Penduduk Yahudi juga tidak akan berada di satu pemukiman dengan mereka ( sesuai permintaan penduduk yerussalem karena pembantaian tawanan Nasrani yang dilakukan oleh orang-orang Yahudi )
Penduduk Yerussalem juga diwajibkan untuk membayarkan Jizyah atau pajak sebagai jaminan keamanan. Setelah melakukan perjanjian Umar meminta izin untuk Shalat dan bertanya dimana dapat melaksanakannya. Kemudian Uskup mempersilahkan Umar untuk Shalat didalam Gereja namun Umar menolaknya dan memilih untuk Shalat di anak tangga gereja.
Hal ini semata-mata dilakukan Umar untuk menunjukan bahwa tempat peribatan kaum Nasrani tidak semerta-semerta dikuasai oleh Umat Muslim pasca ditaklukannya Yerussalem.
Faktanya terlihat bahwa segala langkah dan kebijakan yang dilakukan oleh Umar terbilang sukses dan lancar ketimbang dengan pasukan Persia yang pernah menguasai Kota Yerussalem dengan memporak-porandakan dan membunuh kaum sipil, justru semua kota yang ditaklukan Umat Muslim lebih dapat merasakan kedamaian, ketentraman dan bahkan keleluasaan dalam melakukan peribadatan bagi mereka kaum Nasrani.