Nah, Sultan HB II ini merupakan salah satu raja yang sangat membangkang pada kekuasaan Deandles. Akibatnya lewat peran Deandles kekuasaan HB II di kudeta pada 1810 dan digantikan oleh putranya yang dianggap lebih mudah dikendalikan, Pangeran Surojo yang kemudian diberi gelar Sultan HB III.
Sementara itu pihak Inggris terus berusaha menguasai Hindia-Belanda, dan akhirnya Republik Batavia yang merupakan pemegang kekuasaan takluk kepada Inggris.
Ketika kondisi politik di sana tengah tak menentu, HB II berupaya kembali menguasai Yogyakarta dari tangan putranya.
Namun rupanya penguasa baru asal Inggris, Gubernur Jenderal Thomas Stamford Raffles tak menyukai hal tersebut.
Upaya HB II yang saat itu sudah berhasil menduduki Keraton Yogyakarta di redam oleh Raffles dengan cara mengirimkan pasukan penyerang pada 17 hingga 20 Juni 1811.
Lima ribu pasukan Inggris yang terdiri dari tentara Sepoy atau India, tentara pribumi dari Mangkanegaran Surakarta berhasil menjebol benteng pertahanan Keraton Yogyakarta dan mengobrak-ngabrik serta menjarah apapun yang ada di Wilayah Kesultanan Yogyakarta.
Sultan HB II sendiri akhirnya berhasil ditangkap setelah melakukan perlawan yang cukup sengit kepada pasukan Inggris dan dibuang ke Penang Malaysia.
Seperti diketahui Malaysia merupakan salah satu negara jajahan Inggris. Tak cukup sampai disitu, kekuasaan raja Yogya dan Surakarta secara politis dipangkas signifikan oleh Raflles melalui sebuah Perjanjian yang memaksa.
Perjanjian itu berisi, perintah mengurangi kekuatan militer, kemudian pemangkasan wilayah kekuasaan dan yang terakhir mengganti Hukum Jawa-Islam dengan Hukum Kolonial.
Menurut Sejarawan asal Inggris Peter Carey  seperti dilansir Historia.id, penjarahan yang terjadi saat pasukan Inggris menyerang  Keraton Yogyakarta itu sangat masif.
Konon katanya selain manuskrip dan benda bersejarah lain seperti lukisan, patung serta berbagai benda budaya lain. Terdapat harta Keraton Yogya berupa emas dan perak yang bernilai setara dengan 350 kg emas.
