Sekolah yang berlokasi di jalan Pedati, Cipinang Cempedak, Kecamatan Jatinegara Jakarta Timur. Dari terminal Kampung Melayu arah Cawang, sedikit menyusuri jalan Otto Iskandardinata (Otista), kurang lebih 200 meter dari Terminal Kampung melayu, belok ke arah kiri, menuju jalan Pedati Raya.
Wilayah ini juga terkenal dengan sebutan "kampung Arab", karena banyaknya warga keturunan Arab yang bermukim di sini. Pada awalnya SMP Negeri 36 Jakarta adalah sekolah filial atau kelas jauh dari SMP Negeri 3 Jakarta yang terletak di Manggarai Utara.
Sekolah ini di buka pada tanggal 01 Juli 1962, dengan pimpinan sekolah adalah bapak Darpiyatna. Siswanya rata-rata berasal dari kelas I, II dan III SMP Negeri 3 yang bertempat tinggal di wilayah Kecamata Kampung Melayu. Letak sekolah tersebut berada di Gang Ayub No. 5 Bidara Cina di Gedung Madrasah Ibtidaiyah Islamiyah. Namun sayangnya gedung tersebut dinilai tidak layak dan tidak memenuhi syarat sebagai sarana belajar yang standar.
Bapak Darpiyatna kemudian berusaha mencari tempat lain, dengan dibantu dan bekerja sama dengan ketua Yayasan Islamiyah di Madarasah Cawang I. Akhirnya diizinkan untuk menggunakan Gedung Madrasah Ibtidaiyah Islamiyah di Cawang I. Pada tanggal 1 Agustus 1962 filial SMP Negeri 3 Jakarta ini pindah dari gang Ayub, walaupun semua serba darurat akan tetapi kegiatan dapat berjalan dengan lancar. Pada saat itu, sekolah ini hanya memiliki personil terdiri dari 1 (satu) kepala sekolah, 12 (dua belas) guru dan 10 (sepuluh) karyawan.
Walaupun dengan keterbatasan, pada tahun pertama sekolah tersebut sudah mengadakan ujian mandiri, hasinya sangat memuaskan dengan persentase kelulusan 99%.
Dengan adanya prestasi itu maka pada tanggal 14 September 1963, SMP Negeri 3 Jakarta filial di beri nomor sendiri dan ditetapkan menjadi SMP Negeri 36 Jakarta dengan Surat Keputusan Kepala Perwakilan Departemen Pendidikan dan Kebudayaan No. 63/E/K/1963. Hal ini pula yang dijadikan sebagai tanggal hari jadi SMP 36 Jakarta.
Dengan surat keputusan itu maka SMP Negeri 36 Jakarta sudah dapat berdiri sendiri. Siswanya bertambah banyak, namun perangkat sekolah belum dimiliki, serta kondisi keuangan yang sulit. Untuk mengurangi beban tersebut, timbul ide dari bapak Utje Rosita membentuk koperasi guru dan pegawai SMP Negeri 36 dengan singkatan KOSPIGURPA. Dengan adanya koperasi ini, diharapkan dapat mengatasi masalah yang ada, terutama dalam hal keuangan.
Pada awal tahun 1964 siswa kelas I bertambah banyak, sedangkan kondisi kelas tidak mencukupi, maka Kepala Sekolah berinisiatif untuk mencari gedung baru agar dapat menampung lebih banyak siswa baru. Dan mendapat tempat di SD Balaikambang dengan waktu belajar siang hingga sore hari, karena bergantian dengan siswa SD.
Kondisi jalan menuju sekolah yang licin, terlebih waktu hujan turun karena jalan masih berupa tanah merah, disamping itu permukaan jalan yang naik turun.
Pada saat itu jika hujan turun pada sore hari, saat para siswa pulang sekolah pandangan remang-remang karena cahaya terhalang oleh pohon-pohon yang besar dan rimbun, melewati kebun salak dan kuburan keramat, hal yang cukup sulit pada saat itu. Karena hal tersebut banyak orang tua siswa yang keberatan untuk belajar di tempat tersebut, namun apa boleh buat merekapun akhirnya mau mengerti akan kesulitan yang di hadapi sekolah pada saat itu.