Perpecahan umat Islam mulai terlihat semenjak wafatnya Nabi Muhammad SAW. tentang siapa pemimpin selanjutnya, beliau tidak secara jelas dalam membentuk struktur dan sistem pemerintahan. Dalam proses yang lumayan rumit akhirnya Abu Bakar As-Shiddiq resmi sebagai Khulafa' al-Rasyidin pertama dalam musyawarah yang dilakukan di Saqifah Bani Sa'idah di Madinah. Namun dibalik suksesi kepemimpinan Abu Bakar tersimpan bibit-bibit perpecahan di internal kaum muslim.
Mereka yang setuju Abu bakar sebagai Khalifah pertama disebut dengan Sunni, sedangkan mereka yang tidak setuju dangan pengangkatan Abu Bakar sebagai Khalifah dan lebih setuju jika Ali bin Abi Thalib sebagai Khalifah di kemudian hari disebut dengan kelompok Syi'ah. Era Khulafa' al-Rasyidin dipenuhi dengan pertumpahan darah, tiga dari empat khalifah wafat karena dibunuh yang menurut penulis diakibatkan terkait kepemimpinan agama yang tidak jelas arahnya. Di akhir era Khulafa' al-Rasyidin muncul partai politik dalam Islam yakni Sunni, Syi'ah, dan Khawarij yang dalam hal ini Sunni memiliki kesempatan menduduki kekuasaan, sedangkan Syi'ah sebagai oposisi, dan Khawarij sebagai pemberontak atau kelompok ekstremis.
Sejarah Islam awal selain seputar pembahasan tentang Sunni-Syi'ah di lain sisi kita tidak boleh melupakan pembahasan yang substansial yakni sejarah tentang sekte Khawarij. Persoalan ini bermula ketika terjadi konflik antara Ali dan Muawiyah yang mengakibatkan peperangan diantara dua pihak yang disebut dengan Perang Shiffin yang terjadi pada 657 M. Ketika posisi pasukan Muawiyah terdesak mereka meminta arbitrase. Khawarij yang pada awalnya bagian dari sayap militer Ali menolak tahkim (arbitrase). Mereka menganggap bahwa semua pihak yang menerima tahkim adalah murtad dan kafir karena melanggar dari haluan yang telah digariskan Allah.
Berbeda dengan keinginan Khawarij, Ali dan Muawiyah keduanya menyepakati gencatan senjata sebagai solusi damai dalam peperangan yang terjadi pada keduanya. Bagi pasukan Ali yang menolak arbitrase tersebut mereka menyatakan keluar dari pasukan kemudian berkumpul di kota Harurah, bagian dari provinsi Kufah. Karena pusat kegiatannya di Harurah, mereka juga disebut juga dengan sekte Harurah. Di kota tersebut mereka mendapatkan banyak dukungan. Setelah mapan mereka menjadi sekte yang memiliki pemahaman teologi politik sendiri. Khawarij menganggap pihak yang menerima tahkim dalam hal ini Ali dan Muawiyah adalah kafir.
Kelompok Khawarij dengan mudah menuduh orang lain yang berbeda dengan kelompoknya sebagai kafir. Sejarawan menjuluki mereka dengan sekte "hakimiyyah" dengan slogan utamanya la hukma illa lillah (tidak ada hukum kecuali hukum Allah). Selain takfiri, dalam melakukan aksinya mereka memiliki ciri-ciri ideologi perjuangan keras yang bisa dilihat dari perjuangan-perjuangan mereka bagaimana menggulingkan pemerintahan atau kekuasaan yang sah yang menurutnya tidak sesuai dengan hukum Allah, dengan begitu halal untuk diperangi.
Di era pra-modern dan modern gagasan gerakan Islam militan dan radikal yang mewarisi dan memperjuangkan konsep hakimiyyah adalah Ahmad bin Hambal dan Ibnu Taimiyyah. Di abad 18 kita menjumpai seorang tokoh yang dipengaruhi pemikiran Imam Hambal dan Taimiyah yaitu Muhammad bin Abdul Wahhab, pendiri gerakan Wahhabi yang bekerja sama dengan Muhammad bin Saud untuk mempersatukan suku-suku Arab dan sukses menguasai Makkah. Gerakan Wahhabi ini menjadi dasar berdirinya negara Saudi Arabia.
Pada abad ke-19 muncul gerakan Pan-Islamisme yang diprakarsai oleh Jamaluddin al-Afghani dan Mohammad Abduh. Gerakan ini bertujuan mempersatukan umat Islam tanpa saling membedakan warna kulit dan lainnya di bawah payung besar Islam. Al-Afghani menyuarakan perlunya regenerasi Islam yang bersedia menggunakan kekerasan melawan para pemimpin politik absolut atau yang terpengaruh intervensi asing yang dianggapnya merupakan hambatan untuk tujuan tersebut.
Tidak berbeda dengan al-Afghani, di Mesir, Muhammad Abduh, pengikut al-Afghani yang merupakan pendidik dan pembaharu memiliki jalan yang sama dengan al-Afghani yaitu menggunakan cara kekerasan jika secara politis dianggap perlu. Pemikiran seperti ini tidak berhenti sampai di sini, Rasyid Ridha mengamini gerakan yang dilakukan Wahhabi dalam menaklukkan kota suci di Arab yang ketika itu masih dalam wilayah kekuasaan Kesultanan Utsmani.
Pasca runtuhnya kesultanan Utsmani tahun 1924 akibat kalah perang pada Perang Dunia I, gerakan Khawarij-Modern berkembang lebih baik yang secara struktur dan pendekatan mereka berbeda. Pada saat itu muncul organisasi Islam dengan gaya baru, Ikhawnul-Muslimin didirikan oleh Hasan al-Bana pada tahun 1928. Setelah Hasan al-Bana, Sayyid Qutb menggantikan kepemimpinan Ikhwanul-Muslimin. Di organisasi yang berbeda dengan pemikiran yang sama yaitu Osama bin Laden pemimpin besar al-Qaeda mengumumkan perang terbuka pada Amerika Serikat dan sekutunya. Tiga tokoh tersebut adalah pejuang hakimiyyah yang membela otoritas Allah yang dengan lantang menyerukan Jihad dan amarah.
Dalam sejarah Indonesia tercatat banyak organisasi ekstremis yang melakukan teror dan berusaha menggulingkan pemerintahan yang sah. Di era reformasi kita menjumpai organisasi HTI yang kini telah dibubarkan oleh pemerintah Indonesia karena melanggar UU seperti menolak Pancasila sebagai ideologi negara dan menyuarakan negara Islam (kekhalifahan). Di media sosial kita sering menjumpai orang-orang yang anti pemerintah bahkan menawarkan sistem pemerintahan Islam. Penganut Khawarij bisa jadi sudah tidak ada, namun warisan pemikiran mereka masih berkeliaran di mana-mana dengan doktrin yang sama namun dengan cara yang berbeda seperti lewat Youtube, media sosial, buletin, dan lain-lain secara masif.