Sebelum lahirnya Himpunan Mahasiswa Islam, terlebih dulu berdiri organisasi kemahasiswaan bernama Persyerikatan Mahasiswa Yogyakarta (PMY) pada tahun 1946 yang beranggotakan seluruh mahasiswa dari tiga Perguruan Tinggi di Yogyakarta, yaitu Sekolah Tinggi Teknik (STT), Sekolah Tinggi Islam (STI) dan Balai Perguruan Tinggi Gajahmada yang pada waktu itu hanya memiliki Fakultas Hukum dan Fakultas Sastra. Kegiatan yang diselenggarakan oleh Persyerikatan Mahasiswa Yogyakarta selalu berbau Kolial Belanda. Sering pesta dengan poloniase, dansa serta minum-minuman keras.
Oleh karena Persyerikatan Mahasiswa Yogyakarta dirasa tidak memperhatikan kepentingan para mahasiswa yang masih menjunjung tinggi nilai-nilai agama. Tidak tersalurnya aspirasi keagamaan merupakan alasan kuat bagi para mahasiswa Islam untuk mendirikan organisasi kemahasiswaan yang berdiri dan terpisah dari Persyerikatan Mahasiswa Yogyakarta.
Pada tahun 1946, suasana politik di Indonesia khususnya di Ibukota Yogyakarta mengalami polarisasi antara pihak Pemerintah yang dipelopori oleh Partai Sosialis, pimpinan Syahrir - Amir Syarifuddin dan pihak oposisi yang dipelopori oleh Masyumi, pimpinan Soekiman - Wali Al-Fatah dan PNI, pimpinan Mangunsarkoro - Suyono Hadinoto serta Persatuan Pernyangannya Tan Malaka. Polarisasi ini bermula pada dua pendirian yang saling bertolak belakang, pihak Partai Sosialis (Pemerintah) menitik beratkan perjuangan memperoleh pengakuan Indonesia kepada perjuangan berdiplomasi, pihak oposisi pada perjuangan bersenjata melawan [[[Belanda]].
Polarisasi ini membawa mahasiswa yang juga sebagian besar dari mereka adalah pengurus Persyerikatan Mahasiswa Yogyakarta berorientasi kepada Partai Sosialis. Melalu mereka inilah Partai Sosialis mencoba mendominir Persyerikatan Mahasiswa Yogyakarta. Namun mahasiswa yang masih memiliki idealis tidak dapat membiarkan usaha Partai Sosialis hendak mendominir Persyerikatan Mahasiswa Yogyakarta. Dengan suasana yang sangat kritis dikarenakan Belanda semakin memperkuatkan diri dengan terus-menerus mendatangkan bala bantuan dengan persenjataan modern yang kemudian pada tanggal 21 Juli 1947 terjadilah yang dinamakan Agresi Militer Belanda I. Dengan situasi yang demikian para mahasiswa yang berideologi murni tetap bersatu menghadapi Belanda, mencegak setidak-tidaknya mengurangi efek-efek dari polarisasi politik yang sangat melemahkan potensi Indonesia menghadapi Belanda. Karenanya mereka menolah keras akan sikap dominasi Partai Sosialis terhadap mahasiswa yang dinilai akan mengakibatkan dunia mahasiswa terlibat dalam polarisasi politik.
Berbagai hal ini yang mendorong beberapa orang mahasiswa untuk mendirikan organisasi baru. Meskipun sebenarnya jauh sebelum adanya keinginan untuk mendirikan organisasi baru sudah ada cita-cita akan itu, namun selalu ditunda dan dianggap belum tepat. Namun melihat dari berbagai kondisi yang ada dirasa cita-cita yang sudah lama diharapkan itu perlu diwujudkan karena bila membiarkan Persyerikatan Mahasiswa Yogyakarta lebih lama didominasi oleh Partai Sosialis adalah hal yang tidak tepat. Penolakan sikap dominasi Partai Sosialis terhadap Persyerikatan Mahasiswa Yogyakarta tidak hanya datang dari kalangan mahasiswa Islam, melainkan juga mahasiswa kristen, mahasiswa katolik, serta berbagai mahasiswa yang masih menjunjung teguh ideologi keagamaan.