Kongres Sarekat Islam Cabang Semarang pada 1917 menyepakati Semaoen menjadi Ketua SI Semarang menggantikan Mohammad Joesoef. SI Semarang menjadi sangat radikal dibawah kepemimpinan Semaoen yang revolusioner, tidak lama kemudian pendukung SI Semarang didominasi buruh dan rakyat kecil. Pergantian pengurus ini adalah wujud pertama dari perubahan gerakan SI Semarang dari gerakan kelas menengah menjadi gerakan proletariat.
Kecerdasan dan keberanian dalam melakukan kritik dan intrik atas kebijakan-kebijakan kolonial semakin membuat Semaoen dikenal. Lalu, berbagai aksi pemogokan yang dimotori Semaoen semakin lama semakin memojokkan posisi Tjokroaminoto. Tjokroaminoto merasa terancam eksistensinya karena semakin menguatnya Semaoen dalam mengorganisir buruh sebagai kekuatan bumiputera untuk berjuang melawan kapitalisme belanda.
Semaoen yang memiliki sikap politik tanpa kenal kompromi, dibuat marah dengan adanya perwakilan penduduk pribumi di tubuh Volksraad. Menurut Semaoen, perwakilan pribumi dalam tubuh Volksraad yang disebut Indie Weerbaar hanya seperti wayang yang dikendalikan Belanda karena tidak mampu memberikan perlawanan dan memperjuangkan nasib pribumi dalam Volksraad.Â
Puncaknya saat Kongres Central Sarekat Islam ke-2 di Jakarta terjadi perdebatan besar, Semaoen dengan pandangan Marxisnya berdebat dengan Abdoel moeis yang merupakan utusan Indie Weerbaar.
Pada awal 1920, ISDV menerima surat dari Sneevliet yang berada di Shanghai, yang menyarankan agar bergabung menjadi anggota Komintern. Lalu, diadakanlah kongres istimewa dan diputuskan bahwa ISDV bergabung. Pada 23 Mei 1920, ISDV berubah nama menjadi Perserikatan Komunis Hindia, dan pada 1924 berganti nama lagi menjadi Partai Komunis Indonesia. Hal inilah yang menjadi faktor penyulut perpecahan di tubuh Sarekat Islam.
Pergulatan ideologi antara Islam dan Komunis didalam tubuh Sarekat Islam mencapai puncaknya pada Kongres luar Biasa Central Sarekat Islam di Surabaya pada 6-10 Oktober 1921. Semaoen berdebat habis-habisan dengan Agoes Salim, dan akhirnya kongres tersebut memutuskan adanya disiplin partai, yakni melarang anggota SI merangkap jabatan di organisasi lain, hal ini jelas ditujukan kepada Semaoen dan para pengikutnya. Sejak saat itu Sarekat Islam pecah menjadi 2 kubu, SI Merah dipimpin Semaoen yang berideologi komunis dan berpusat di Semarang, dan SI Putih dipimpin Agoes Salim yang berideologi Islam dan berpusat di Yogyakarta.
Masa Pengasingan
Pada aksi mogok besar-besaran oleh serikat buruh kereta api dan trem (VSTP) tahun 1923, Semaoen yang menjadi dalangnya ditangkap pihak kolonial dan diasingkan ke Belanda. Setiba di Belanda, ia menjalin hubungan dengan Perhimpoenan Hindia yaitu organisasi mahasiswa Indonesia di Belanda. Disitu ia menggaungkan gagasan-gagasan marxisme dan anti-kolonialisme.
Semaoen bersama Sneevliet dan Bergsma membuat sebuah instrumen propaganda yaitu majalah "Pandoe Merah" yang terbit dalam bahasa Melayu dan Belanda. Semaoen memanfaatkan para pelaut Indonesia di Belanda guna menjadi kurir dan strategi itu berhasil. Dan pada tahun ini juga, Moskow mengangkat Semaoen menjadi Komite Eksekutif Komintern.
Tidak lama di Belanda, Semaoen pergi menetap di Moskow. Pada tahun 1945, ia mengajar Bahasa Indonesia di Institut Ketimuran dan Institut Hubungan Luar Negeri Moskow. Ia juga bekerja di radio Moskow untuk mengisi siaran berbahasa Indonesia, lalu ia memutuskan menikah dengan seorang perempuan Rusia bernama Varia. Puncaknya ia dipercaya menjabat sebagai ketua Badan Perancang Negara di Tajikistan.
Semaoen yang berkeinginan pulang ke Indonesia, dilarang oleh pemerintah Uni Soviet. Soviet beranggapan Semaoen yang dianggap terlalu paham soal Soviet, dikhawatirkan setiba di Indonesia akan membeberkan berbagai informasi strategis yang akan membahayakan Soviet. Namun, atas permintaannya ke Presiden Soekarno ketika berkunjung ke Moskow pada 1956, Semaoen akhirnya bisa pulang ke Indonesia setelah di negeri orang hampir 30 tahun lamanya.Â
