Dilansir dari buku Arkeologi Perkotaan Mataram Islam (2000), Mataram Islam merupakan kesultanan atau kerajaan Islam yang berdiri pada abad ke-17. Pimpinan dari kesultanan ini merupakan keturunan Ki Ageng Pamanahan yaitu Sutawijaya atau yang lebih dikenal sebagai Panembahan Senopati yang merupakan suatu kelompok ningrat keturunan penguasa Majapahit.
Asal-usul berdirinya Mataram Islam sendiri berawal dari keberhasilan Ki Ageng Pamanahan dalam perebutan tahta atas Demak. Pada perang tersebut Ki Ageng Pamanahan berhasil memperoleh keberhasilan dan hadiah dari Sultan Pajang berupa tanah di Mataram. Pada tanah inilah Ki Ageng Pamanahan bersama para pengikutnya mendirikan pemukiman yang kemudian berkembang dengat pesat.Â
Puncak kejayaan Mataram Islam berada pada masa pemerintahan Mas Rangsang atau yang memiliki gelar Sultan Agung Hanyakrakusuma pada masa 1613-1645. Pada masa ini lah Makam Raja-raja dibangun tepatnya tahun 1632 M.
Sejarah dibangunnya Kompleks Makam Raja-raja Imogiri berawal dari Sultan Agung yang mencari tempat sebagai makam bagi raja Mataram dan penerusnya. Sebelum di Pajimatan Imogiri, tempat yang menjadi tujuan pertama adalah di Giriloyo, tetapi pada masa pembangunannya Pangeran Juminah atau paman Sultan Agung meninggal dunia. Kemudian sebagai bentuk rasa cinta dan kehormatan Sultan Agung kepada pamannya maka jenazah beliau dimakamkan pada Makam Giriloyo. Sehingga setelah itu Sultan Agung kemudian mencari tempat lain sebagai Makam Raja-raja dan tempat itu terletak di Pajimatan Imogiri.
Terdapat beberapa pendapat mengenai alasan dipilihnya Imogiri sebagai tempat makam raja-raja. Pendapat pertama menyebutkan bahwa Imogiri berasal dari dua kata yaitu "hima" dan "giri". Hima artinya kabut sedangkan giri berarti gunung. Jadi, Imogiri dapat diartikan sebagai gunung yang diselimuti kabut. Pendapat ini berhubungan dengan konsep masyarakat Jawa Hindu karena menurut kepercayaan yang dianut oleh mereka semakin tinggi tempat pemakaman maka semakin tinggi pula derajat kemuliannya.
Kemudian pendapat yang kedua mengatakan ketika Sultan Agung sedang berada di Mekah, beliau berjalan-jalan dengan seorang ulama yang merupakan sahabatnya. Pada perjalanan tersebut Sultan Agung menemukan tempat yang memiliki tanah dengan aroma harum. Beliau tertarik hingga kemudian muncul keinginan untuk menjadikan tempat tersebut sebagai makam bagi jasadnya kelak. Namun, sang ulama menolak karena menurutnya rakyat Mataram akan kesulitan untuk mengunjungi makam Sultan. Awalnya Sultan Agung masih bersikeras sampai sahabatnya tersebut mengambil segenggam tanah yang harum itu untuk kemudian dibawa pulang ke Mataram. Sang ulama berpesan supaya melemparkan tanah tersebut ke arah selatan dan jatuhnya tanah itu akan menjadi harum juga sehingga tempat itu lah yang akan menjadi makam bagi Sultan Agung.
Setelah Sultan Agung melakukan pesan sahabatnya ternyata jatuhnya tanah tersebut bertempat di Bukit Giriloyo. Namun, seperti yang sudah dijelaskan di awal tadi bahwa pada masa pembangunan kompleks makam raja-raja di Giriloyo paman Sultan Agung meninggal dunia. Sehingga karena Giriloyo sudah menjadi tempat peristirahatan terakhir bagi Pangeran Juminah maka Sultan Agung mencari tempat lain dengan cara melemparkan sisa tanah yang harum dari Mekah itu dan jatuhnya tanah tersebut bertempat di Bukit Merak atau yang masuk pada wilayah Desa Pajimatan, Desa Wukirsari, Kecamatan Imogiri, Kabupaten Bantul.
Pembangunan Kompleks Makam Raja-raja Imogiri dipimpin oleh Kiai Tumenggung Citrokusumo yang dimulai pada tahun 1632. Arsitertur dari makam tersebut merupakan perpaduan antara Hindu dan Islam, hal ini bisa dilihat dari banyaknya bata merah yang berada di area makam bagian atas yang termasuk ciri utama arsitektur Islam Hindu atau arsitektur Islam Jawa di abad ke-17.
Raja yang disemayamkan pertama kali di makam ini tentu pendirinya sendiri yaitu Sultan Agung Hanyakrakusuma yang kemudian disusul oleh para raja penerusnya. Namun demikian, Sri Sultan Hamengkubuwana II yang wafat tahun 1828 tidak dimakamkan di Imogiri melainkan di Kompleks Pemakaman Raja-raja Mataram Kotagede.
Makam Raja-raja Imogiri ini memiliki ratusan anak tangga yang dibuat pendek yang kemungkinan untuk memudahkan para peziarah karena di beberapa area terdapat aturan untuk mengenakan pakaian adat. Mengenai jumlah pasti dari anak tangga di makam tersebut terdapat sebuah mitos yang dipercayai oleh beberapa masyarakat setempat bahwa siapapun yang berhasil menghitung jumlah anak tangga dengan benar maka keinginannya akan terwujud.