Kursi sultan Yogyakarta pun sangat singkat diduduki oleh Sultan Hamengku Buwana II. Bahkan kurang dari setahun, dari 28 Desember 1811 sampai 26 Juni 1812. Sultan Hamengku Buwana II kembali dipecat. Kali ini bukan oleh Daendels, akan tetapi oleh penjajah baru Inggris yang dipimpin Gubernur Jendral Thomas Stamford Raffles pada 26 Juni 1812.
Oleh Raffles Sultan Hamengku Buwana II dibuang ke Pulau Penang di Malaya. Empat tahun lamanya, Sultan HB II dalam pembuangan di Penang, sempat kembali ke Batavia 1816, untuk kemudian 1817 dibuang kembali ke Ambon. Bukan oleh pemerintah kolonial Inggris, akan tetapi Hindia Belanda yang kembali mengambil alih tanah jajahan Hindia Belanda seiring perubahan geopolitik di dunia.
Hamengku Buwana III yang sempat direbut posisinya oleh sang ayah, HB II, kembali bertahta di Yogyakarta (1812). Namun Sultan Raja ayahanda Diponegoro ini juga tidak bertahta lama, hanya sekitar dua tahun dari 28 Juni 1812 sampai meninggal pada 3 November 1814. Masih era penjajahan Inggris.
Era Baru Perwalian Sultan
Sepeninggal HB III sementara HB II dalam pembuangan Ambon, Yogyakarta memasuki era baru, yang disebut Era Perwalian ketika Inggris menunjuk Sultan Jarot putra HB III (saudara lain ibu Pangeran Diponegoro) menjadi Hamengku Buwana IV. Karena Sultan Yogyakarta yang ditunjuk Inggris masih dibawah umur, baru 10 tahun, maka pemerintahan pun dijalankan melalui sistem perwalian selama hampir enam tahun dari 16 November 1814 sampai 27 Januari 1820. Paku Alam I alias Pangeran Natakusuma, Â yang pernah berjasa pada Inggris dalam Geger Sepoy, ditunjuk oleh Inggris sebagai wali Sultan Hamengku Buwana IV.
Sultan Jarot pun tidak lama memerintah sebagai Sultan HB IV di keraton Ngayogyakarta. Pada 16 Desember 1822 saat Sri Sultan belum genap berusia 18 tahun, ia meninggal dunia.
Anaknya Hamengku Buwana IV yang masih bayi, Sultan Menol, baru berusia dua tahun. Oleh pemerintah Belanda, yang kembali menguasai wilayah penjajahan Inggris di Hindia Belanda, diangkat sebagai Hamengku Buwana V pada 19 Desember 1822. Sultan Menol kelahiran 25 Januari 1820.
Yogyakarta kembali mengalami masa pemerintahan perwalian. Belanda menunjuk nenek perempuan HB V, Pangeran Mangkubumi (puteri Hamengku Buwana II), dan Pangeran Diponegoro putera Hamengku Buwana III sebagai wali sultan.
Diponegoro yang merasa dikecewakan, tak mendapat kedudukan sultan meski layak dan berhak, ia meninggalkan keraton, dan mulai pengelanaan spiritualnya ke pegunungan-pegunungan di Gunung Kidul sebelum mengumumkan perang pada penjajah (Perang Jawa) 1825-1830. Ibu Pangeran Mangkubumi juga meninggalkan keraton, meninggalkan tugas perwalian.
Maka Perwalian HB V pun dipegang oleh Pangeran Aria Mertasana alias Murdaningrat -- putra Hamengku Buwana II. Juga menjadi wali, Pangeran Aria Panular putra HB I pendiri Yogyakarta. Namun keduanya, baik Pangeran Aria Mertasana maupun Pangeran Aria Panular keduanya meninggal di pertempuran Lengkong pada 28 Juli 1826.
Pemerintahan perwalian Hamengku Buwana V sempat tersela tetapi ia terus menjadi sultan, ketika tampuk kerajaan dipegang kembali oleh Hamengku Buwana II pada 17 Agustus 1826. HB II dikembalikan dari pembuangan Ambon oleh Komisaris Jendral Belanda, Du Bus, dan diangkat sebagai "Sultan Sepuh". Sementara HB V masih berusia 6 tahun dan belum cukup umur, sebagai "Sultan Anom".
