Siapa sangka, sejarah telah memberikan kisah inspiratifnya, dalam kisah perpecahan antar umat Islam kala Sarekat Islam tengah berjaya. Perpecahan dimulai ketika dalam tubuh Sarekat Islam telah banyak masuk kader-kader berideologi komunis dari ISDV. Hal ini yang menjadi dasar, mengapa perbedaan paham menjadi latar belakang utama perpecahan itu terjadi.
Sebagai sebuah organisasi yang didominasi oleh tokoh-tokoh Islam, Sarekat Islam memberi angin segar perubahan bagi umat Islam pada awal mula pendiriannya. Kebijakan-kebijakan Pemerintah Kolonial selalu dapat diawasi dan dikritisi melalui wadah organisasi ini. Selain dari tugasnya, yakni membangun rasa persaudaraan antar sesama muslim dan mengembangkan perekonomian rakyat.
Otaknya adalah Semaun dan Darsono, yang merupakan kader komunis dari Henk Snevliet dari ISDV. Sebuah organisasi berpaham komunis dari Belanda, yang memiliki tujuan menyebarkan paham komunis di Indonesia. Dimana kelak dari ISDV inilah, Partai Komunis Indonesia (PKI) lahir dan berkembang. Melalui campur tangan merekalah, Sarekat Islam akhirnya pecah menjadi dua faksi.
Kader-kader ISDV dikenal sebagai para tokoh yang revolusioner, dan anti kompromi terhadap kolonial Belanda. Sedangkan, kader dari Sarekat Islam Putih, mulai melunak perjuangannya. Mereka tidak sekeras ketika awal mula pendiriannya. Faksi Sarekat Islam Putih, masih dibawah komando HOS. Cokroaminoto, sedangkan faksi Sarekat Islam Merah dibawah komando Semaun.
Diantara para kader Sarekat Islam Putih selain Cokroaminoto ada H. Fachruddin, H. Agus Salim, Suryopranoto, Suryopranoto, hingga Sekarmadji Maridjan Kartosuwiryo. Sedangkan kader Sarekat Islam Merah ada Semaun, Darsono, Alimin, hingga Tan Malaka. SI Putih akhirnya memusatkan markas organisasinya di Jogjakarta, karena SI Merah telah mengambil alih markas organisasi di Semarang.
Perpecahan yang berlanjut hingga ke area politik, antara SI Putih dan SI Merah. Dimana SI Putih yang mendukung semangat Pan Islamisme, mendapatkan pertentangan dari SI Merah, yang anti Islam. SI Merah beranggapan, bahwa agama tidak boleh dicampur dengan urusan politik, sedangkan, dasar perjuangan Sarekat Islam, berangkat dari semangat Islam yang menjadi pedomannya.
Awalnya, Semaun dan Darsono adalah anggota SI yang dipecat melalui mekanisme organisasi. Tetapi, karena mereka memiliki pengikut besar, akhirnya SI Merah pun didirikan oleh mereka, sebagai wujud perlawanan terhadap organisasi pergerakan Islam. Perpecahan yang terus berlangsung hingga masa-masa puncak Kebangkitan Nasional.
Seperti yang dijelaskan oleh Turnan Kahin, dalam "Nationalism dan Revolution in Indonesia", bahwa agenda utama SI Merah, adalah menandingi SI Putih, yang dianggap tidak sesuai dengan cita-cita kemerdekaan. Disini dapat dianalisis, bahwa apa yang dilakukan oleh SI Merah, adalah bentuk propaganda guna mencari dukungan rakyat yang tertindas oleh penjajahan.
Maka wajar, jika kemudian SI Merah yang bertransformasi menjadi PKI, langsung mendapatkan dukungan secara luas dari rakyat Indonesia. SI Merah dianggap organisasi yang memiliki semangat juang tinggi dibanding dengan organisasi lain pada masanya. Namun, kelemahannya, mereka tidak punya bergaining politik dengan organisasi pergerakan lain, yang lebih bersifat moderat.
Disini kiranya perpecahan dalam tubuh SI membuat iklim pergerakan organisasi nasional kala itu menjadi tidak kondusif. Antara organisasi yang berbeda pandangan dan ideologi kerap bersinggungan hingga berakhir pada konflik terbuka. Seperti yang terjadi kala PKI melancarkan perlawanannya terhadap Belanda pada tahun 1926. Tan Malaka akhirnya memilih untuk keluar dari PKI.