Pada masa Umar mengahadapi kaum Khawarij yang fanatik militan, yang sebelumnya sangat gemar melakukan tantangan dan oposisi terhadap pemerintahan. Dengan pendekatan pribadi khalifah Umar yang bijaksana yaitu dengan cara bedialog dan diskusi secara langsung dan terbuka disertai dengan daya Tarik pribadi yang bergaya hidup sangat sederhana. Yang pada akhirnya dapat meluluhakn hati kaum Khawarij yang percaya bahwa pemimpin umat islam saat itu adalah kepala negara yang benar-benar adil dan bertekad menegakkan hukum Allah di bumi. Selain itu, mereka menganggap bahwa Umar bin Abdul Aziz berkuasa dengan segala keihlasan hati dan sungguh-sunguh berbakti kepada untuk kepentingan masyarakat.
Dengan gaya diplomasi dua jalur yang dilakukan Umar bin Abdul Aziz sebagai pempin negara islam dapat menundukkan suatu kaum yang ekstrim dan radikal lagi militant yang selama ini tidak menyerah pada tekanan pemerintah manapun.
