Dua khalifah yang memimpin setelahnya, yaitu Yazid bin Walid bin Abdul Malik dan Ibrahim bin Walid, keduanya tidak memiliki pengaruh yang dicatat oleh sejarah. Ini menjadi kesempatan emas bagi Bani Abbas untuk menyiapkan generasi-generasi sesudahnya, merapatkan barisan untuk menyerang Bani Umayyah.
Selanjutnya, kekhalifahan pun berpindah kepada Marwan bin Muhammad yang merupakan khalifah terakhir Bani Umayyah di timur, ia tidak bisa menguatkan fondasi-fondasi kekhalifahan, sekalipun ia adalah orang Bani Umayyah yang paling pemberani dan paling tangguh menghadapi segala rintangan. Bani Umayyah pun runtuh pada masa kekhalifahannya di tahun 132 H, setelah terjadi fitnah dan kegoncangan selama lima tahun. Marwan lalu melarikan diri ke Mesir, namun kemudian ia berhasil ditangkap dan dibunuh oleh pasukan Abbasiyyah.
Pelarian Panjang
Kekhalifahan Abbasiyyah pun berdiri sebagai kekhalifahan baru menggantikan Bani Umayyah. Pihak Abbasiyyah kemudian memerintahkan untuk membunuh semua orang yang dianggap layak menjadi khalifah dari kalangan Bani Umayyah. Mereka membunuh para pangeran, putra-putra pangeran, dan cucu-cucu para pangeran tersebut, kecuali sedikit saja yang tidak terjangkau oleh pedang-pedang mereka.
Abdurrahman bin Muawiyah yang ketika itu memasuki masa pemudanya menjadi salah satu incaran kelompok Abbasiyyah untuk dibunuh. Abdurrahman pun melarikan diri dari tempat tinggalnya di desa Dier Khinan yang termasuk dalam wilayah provinsi Qinnasrin di Syam, menuju salah satu desa di Irak di tepian sungai Eufrat. Tapi tekanan-tekanan pihak Abbasiyyah dengan semua kekuatan materi dan intelijennya akhirnya dapat mengetahui di mana posisi ia berada.
Maka suatu ketika, saat ia duduk di dalam rumahnya, tiba-tiba masuklah putranya yang berusia empat tahun dengan menangis keras. Saat itu, Abdurrahman sedang sakit dan terbaring di sudut gelap rumah tersebut, karena matanya mengalami kekaburan. Abdurrahman pun berdiri bermaksud keluar rumah. Ternyata di luar rumah, ia melihat sudah banyak sekali panji-panji hitam pasukan Abbasiyyah, yang bahkan telah memenuhi desa tersebut. Ia pun sadar, bahwa dirinyalah yang dicari-cari.
Abdurrahman lalu membawa saudaranya, Hisyam bin Muawiyah, dengan semua uang yang dibawanya, kemudian meninggalkan semua kerabat wanita dan anak-anaknya, karena ia tahu bahwa mereka tidak akan tersentuh apapun.
Abdurrahman melarikan diri bersama saudaranya, Hisyam, menuju Sungai Eufrat. Tapi di tepian Sungai Eufrat, keduanya berhasil terkejar oleh pasukan Abbasiyyun. Keduanya pun menceburkan diri ke sungai dan mulai berenang. Dari kejauhan, pasukan Abbasiyyun berteriak meminta agar keduanya kembali dan memberi keduanya jaminan keamanan. Tapi keduanya bertekad untuk sampai ke tepian sungai yang di seberang.
Hanya saja Hisyam tidak sanggup lagi berenang sehingga ia memutuskan untuk memenuhi panggilan pasukan Abbasiyyun itu dan menerima jaminan keamanan mereka. Tapi begitu pasukan Abbasiyyun memegangnya, mereka langsung membunuh Hisyam di depan mata saudaranya.
Abdurrahman bin Muawiyah terus menyeberangi sungai itu tanpa bisa berbicara atau berpikir lagi karena kesedihannya yang mendalam atas terbunuhnya sang adik yang berusia 13 tahun itu. Ia kemudian berjalan menuju wilayah Maghrib, karena ibunya adalah seorang wanita yang berasal dari suku Berber. Ia bermaksud melarikan diri menemui keluarga ibunya di sana.
Abdurrahman bin Muawiyah akhirnya sampai ke Burqah, Libya. Selama lima tahun lamanya ia terus bersembunyi hingga pencarian dan pengusiran mulai tenang. Ia pun keluar menuju Qairuwan. Pada masa itu, Qairuwan dipimpin oleh Abdurrahman bin Habib Al-Fihri. Dan ketika itu, Afrika Utara benar-benar telah berdiri sendiri dan lepas dari Daulah Abbasiyyah.
