Sejarah pesantren dimulai dari keinginan bernama Muhsin Kahar. Beliau merupakan aktivis pelajar Islam Indonesia (PII) untuk memiliki sebuah pesantren. Beliau juga aktivis Himpunan Mahasiswa Islam (HMI) dan Muhammadiyah, prihatin beliau dengan kurangnya kader Dai dan mubaligh yang dapat menangani Dakwah secara berkelanjutan dan bertanggung jawab. Dari hal tersebut beliau aktif menggarap berbagai kursus dakwah, training dan pelatihan calon mubaligh untuk mendapatkan kader-kader yang diharapkan.
Pada usia 12 tahun beliau sudah berkotbah di masjid Ta'mirul Masajid yakni sebuah masjid kebanggaan Muhammadiyah cabang Makassar. Sebelum hal tersebut beliau sudah aktif menjadi penceramah dan khotib baik di masjid-masjid maupun berbagai pengajian yang ada di Makassar. Ketika beliau aktif di pemuda Muhammadiyah Sulawesi Selatan dan Tenggara beliau bersama teman-teman bernama Arsyad Taman dan Aminudin Jafar menyelenggarakan beberapa kursus pendalaman Islam bahkan mereka juga menyelenggarakan berbagai kegiatan di berbagai perusahaan seperti pertambangan nikel Polama, Sulawesi Tenggara yang berlangsung pada tahun 1967.
Beliau terinspirasi pada tulisan karya tokoh Muhammadiyah bernama KH. Mas Mansur dalam bukunya berjudul "Rangkaian Mutu Manikam". Buku tersebut menceritakan pengalaman KH. Mas Mansur melewat ke tempat pengkaderan Dai di Syanggit, Selatan Tripoli, Ibukota Libya. Pondok yang dipimpin oleh Syekh Sidi Abdullah tersebut berhasil menelurkan ulama yang tersebar di seluruh penjuru dunia.
Beliau pada waktu itu memiliki nama baru yakni bernama Abdullah Said. Pada tahun 1969 beliau hijrah ke Balikpapan untuk menyelenggarakan kursus mubaligh yang diikuti sekitar 30 orang. Hal tersebut didukung oleh pengurus Muhammadiyah Balikpapan dan tokoh masyarakat Sinjai bernama H. Muhammad Rasyid, pelatihan tersebut berlangsung selama 3 bulan. Sejak itu Abdullah Said membuat berbagai kursus seperti Training Center Darul Arqam I dan II dan berbagai pelatihan mubaligh. Pada tahun 1973 abdullah Said bersama para kader mendirikan pondok pesantren yang bernama Pesantren Pangeran Hidayatullah.
Pada awalnya Pesantren ini menempati salah satu sudut di rumah H. Muhammad Rasyid selaku mertua beliau. Pada waktu itu beban hidup semakin berat, dan akhirnya beliau dan pesantrennya pindah ke Puncak Karangrejo pada awal tahun 1974 namun tak lama pula karena usai ramadhan pesantren pindah ke Karang Bugis. Di Karang Bugis atas bantuan seorang tokoh masyarakat setempat beliau mendapatkan sebidang tanah seluas 5000 m wakaf untuk pesantren, sejak itulah Pesantren mengalami kemajuan yang berarti apalagi walikota Balikpapan bernama Letkol Pol Asnawie Arbain mendukung penuh aktivitas pesantren.
Dengan perkembangan yang pesat hal tersebut membutuhkan lahan yang lebih luas maka 2 tahun kemudian dengan bantuan walikota mendapatkan lahan seluas 3,5 hektar. Tanah tersebut wakaf dari seorang mukhlisin di Gunung Tembak, Balikpapan dan akhirnya pindah ke lokasi baru pada 3 Maret 1976. Para santri bekerja siang malam untuk mendirikan kampus baru. Dalam waktu 5 bulan beberapa bangunan seperti masjid, perpustakaan, ruang kelas dan asrama sudah terbangun.
Pada 5 agustus 1976 Menteri Agama bernama Prof. Dr. HA. Mukti Ali, MA meresmikan Pesantren tersebut. Di lokasi tersebut saat ini berdiri sekretariat yayasan yang menjadi tempat kegiatan pendidikan dan pengajian ibu rumah tangga, pelatihan para mubaligh dan lain sebagainya. Pada tahun tersebut dengan hasil keuletan dan tahan banting telah berhasil mendirikan pesantren dan kampus, tetapi pada tahun 1997 beliau Kyai Haji Abdullah Said telah wafat.
Sejak berdiri Pesantren tersebut memiliki tradisi yakni untuk dapat mendidik setiap santri agar memiliki kemampuan menghadapi dan beradaptasi dengan cepat setiap komunitas baru. Setiap Santri hadir selalu mendapatkan Training Center selama 40 hari untuk mendapatkan motivasi hidup dan menjadi modal dasar masa depan. Selama pendidikan awal tersebut santri mendapatkan tugas untuk dapat menangani pekerjaan untuk dapat mandiri dan melatih seperti mencangkul, menggali empang dan lain sebagainya santri juga mendapatkan pembelajaran dalam bentuk ceramah dan diskusi yang berlangsung dua pekan sekali. Santri dikelompokkan dalam beberapa profesi antara lain bangunan gedung, pertanian, perkebunan, peternakan dan Perikanan.
Selain hal tersebut hidayatullah juga membuka sekolah yakni dimulai dari TK, madrasah Ibtidaiyah dan Madrasah Aliyah. Dengan memasukkan unsur pendidikan modern tersebut para santri juga menguasai ilmu pengetahuan umum. Dengan pertimbangan secara cermat Hidayatullah juga mendirikan perguruan tinggi yang berada di Jakarta dan Surabaya. Di Jakarta nama Sekolah Tinggi Ilmu Manajemen Hidayatullah dan yang di Surabaya bernama Sekolah Tinggi Agama Islam Lukmanul Hakim. Guru Pesantren cabang Hidayatullah menggabungkan diri dalam bentuk organisasi massa dengan cabang 26 provinsi maka tiap provinsi otomatis menjadi DPD, dan yang di pusat bernama DPP.
Dengan demikian seluruh Pesantren mengacu pada kurikulum hasil kajian yang dilakukan Pesantren Hidayatullah Kudus. Kiprah seluruh pesantren yang ada dalam himpunan Hidayatullah terpublikasi melalui majalah suara Hidayatullah. Sebut sebagai Wahana komunikasi Seluruh aktivitas Hidayatullah di Indonesia yang menurut almarhum Kyai Haji Abdullah Said merupakan kader-kader dakwah di bidang jurnalistik. Keinginan tersebut bermula pada tahun 1981 ketika diselenggarakannya pelatihan jurnalistik dengan melibatkan Deppen dan PWI Kalimantan Timur. Usai pelatihan tersebut diterbitkan buletin dakwah Hidayatullah yang kemudian bertepatan dengan kehadiran Harmoko (Menpen) hadirnya media yang memiliki izin terbit (SIUUP). Keinginan tersebut terwujud ketika izin pembuatan majalah keluar pada Mei 1986 dengan banyak 50000 eksemplar yang tersebar ke berbagai kalangan di Indonesia. Pesantren Hidayatullah Balikpapan menjadi pusat dakwah dan pendidikan bagi seluruh santri yang ada di Indonesia. Dewan Pimpinan Pusat menempati kantor di Jakarta namun semua penyelenggaraan aktivitas bersifat nasional lainnya di Pesantren Hidayatullah.