Ketika umat Islam diizinkan Allah Ta'ala untuk hijrah, beliau pun memutuskan untuk ikut hijrah ke Madinah.
Ketika rencana kepergian beliau diketahui oleh orang-orang Mekah, mereka berkata kepada beliau, "Dahulu sewaktu kamu datang kepada kami, kamu hanyalah seorang budak yang miskin. Maka, kemudian menjadi banyaklah hartamu di sisi kami, hingga mencapai (kekayaan) seperti ini, lalu kamu ingin pergi dengan dirimu dan harta kekayaanmu? Demi Allah hal itu tidak boleh terjadi."
Beliau menjawab, "Baiklah, saya akan meninggalkan semua kekayaan saya di sini, sekarang maukah kalian membiarkan saya pergi?"
Mereka pun mengizinkan beliau pergi. Beliau pun menunjukkan suatu tempat menyimpan setengah dari hartanya kepada mereka untuk mereka ambil.
Ketika beliau bersama keluarga bermaksud pergi ke Madinah. Sekelompok orang Quraisy mengejar beliau. Shuhaib adalah seorang yang gagah berani. Beliau ahli dalam menembakkan anak panah. Ketika beliau melihat rombongan orang Quraisy itu yang tengah mengejar beliau, segera beliau siapkan busur panahnya lalu mengeluarkan semua anak-anak panah dari tempatnya dan menancapkannya di tanah. Beliau berteriak kepada mereka:
"Hai orang-orang Quraisy, kalian semua tahu aku jago memanah. Demi Allah, sebelum kalian berhasil mendekatiku, aku akan membidik kalian dengan semua anak panah yang aku bawa. Setelah itu aku akan melawan kalian dengan pedang ini sampai titik darah penghabisan. Sekarang terserah kalian, jika kalian ingin mendekat, mendekatlah. Atau lebih baik bagi kalian untuk membiarkanku pergi dengan aman. Nanti aku tunjukkan di mana setengah harta kekayaanku kusimpan!" [Orang-orang Quraisy setuju memilih harta beliau dibanding berperang dengan beliau]
Maka dari itu, beliau pun meninggalkan seluruh harta kekayaannya di Mekah, dan pergi berhijrah. Jadi dengan penuh kebajikan dan dengan mengorbankan hartanya, beliau berhasil menyelamatkan dirinya dan keluarganya hingga sampai ke Madinah dengan selamat.
Saat beliau bertemu dengan Rasulullah saw, beliau memberitahukan bahwa beliau mengorbankan seluruh harta kekayaannya agar beliau bisa hijrah ke Madinah, Rasulullah saw pun bersabda,
"Wahai Abu Yahya! Apa yang engkau lakukan bukanlah sebuah transaksi yang sia-sia, namun transaksi yang sangat menguntungkan."
Terlalu Banyak Bersedekah
Satu kali Hadhrat Umar berkata kepada Hadhrat Suhaib: "Anda amat sangat murah hati dalam memberi makan orang lain, namun saya khawatir Anda ini terlalu banyak bersedekah." Hadhrat Suhaib menjawab: "Makanan yang saya berikan karena atas perintah Rasulullah saw.
"Beliau saw menasehati saya, yang terbaik diantara kalian adalah ia yang memberi makan orang lain dan menyebarkan salam (perdamaian)."