Sebelum kita membahas perjalanan dunia perbankan Syariah di tanah air, konsep mengenai perbankan oleh bank Islam di era modern, muncul pertama kali muncul pada tahun 1940-an. Konsep tersebut dituangkan melalui pemikiran para penulis dari negara-negara di Timur Tengah, seperti, Anwar Qureshi di tahun 1946, Naiem Siddiqi pada tahun 1948, dan Mahmud Ahmad tahun 1952.
Kemudian uraian pemikiran dari para penulis tersebut dibuat lebih terperinci mengenai gagasan perbankan Islam yang ditulis oleh ulama besar Pakistan, yakni Abu A'la Al-Mawdudi (1961) dan Muhammad Hamidullah (1944 -- 1962) dengan gagasan mengenai pelaksanaan perbankan dan pengelolaan keuangan berdasarkan dengan sistem bagi hasil.
Istilah bank syariah itu sendiri pertama kali muncul di kota kecil Mit Ghamr, Mesir pada tahun 1963. Bank syariah tersebut awalnya dalam bentuk bank tabungan pedesaan. Pada saat itu desa yang berada di kawasan Mit Ghamr para penduduknya membutuhkan pelayanan jasa keuangan yang memiliki sistem syariah, sekaligus para penduduk desa terbebas dari yang namanya "riba". Larangan mengenai riba sendiri tertuang pada suatu ayat Al-Qur'an yaitu "Hai orang-orang yang beriman, janganlah kamu memakan riba dengan berlipat-ganda dan bertaqwalah kamu kepada Allah supaya kamu mendapat keberuntungan".
Kemudian percobaan berikutnya terjadi di Pakistan pada tahun 1965 dalam bentuk bank koperasi. Koperasi ini memberikan pelayanan yang sistem pembagian keuntungannya secara adil. Setelah itu, kemudian muncul lagi Gerakan Bank Syariah pada pertengahan tahun 1970-an yaitu, berdirinya Islamic Development Bank (IDB) pada 20 Oktober 1975, yang merupakan lembaga keuangan Internasional Islam.
Berdirinya bank tersebut kemudian memicu munculnya bank syariah di berbagai negara lain, seperti Dubai Islamic Bank di Uni Emirat Arab (Maret 1975), Faisal Islamic Bank di Mesir (1977), dan Kuwait Finance House di Kuwait (1977). Kehadiran bank-bank tersebut menjadi tombak awal perkembangan perbankan syariah di dunia yang nantinya memberikan dampak positif terhadap muncul bank-bank yang berlandaskan prinsip syariah di berbagai negara, termasuk di Indonesia.
Di Indonesia sendiri, keinginan masyarakatnya untuk mempraktekkan ekonomi yang sesuai dengan prinsip syariah telah ada sejak didirikannya organisasi Sarekat Dagang Islam (SDI) di Hindia Belanda pada tahun 1905.
Organisasi ini awalnya merupakan perkumpulan para pedagang muslim saat itu untuk mempunyai sebuah lembaga keuangan yang berlandaskan prinsip syariah. Hal itu disebabkan oleh belum adanya umat muslim yang mendirikan lembaga keuangan dengan prinsip syariah. Ternyata hal ini juga telah membangkitkan umat Islam yang mempunyai dana yang cukup untuk mencoba mendapatkan izin atas pendirian bank-bank baru.
Memasuki zaman kemerdekaan Indonesia, proses pembentukan bank syariah di Indonesia bermula dari kelemahan-kelemahan yang melekat pada perbankan dengan sistem bunga. Pada masa Orde Baru, keadaan perbankan sangat tidak efisien dan sangat bergantung pada tersedianya kredit likuiditas Bank Indonesia.
Atas permasalahan itu, Bank Indonesia mengeluarkan sebuah kebijakan deregulasi pada bulan Juni 1983, yaitu kebijakan deregulasi dan debirokratisasi dalam upaya untuk membangun suatu sistem perbankan yang sehat, efisien, dan tangguh. Setelah diluncurkannya deregulasi tersebut, bank-bank yang ada pada saat itu diizinkan untuk menentukan sendiri tingkat bunga deposito atau tabungan dan pinjaman yang ditujukan agar dapat lebih mandiri dan lebih efisien.
Dengan adanya deregulasi yang dilakukan oleh Bank Indonesia, peluang bagi umat Islam untuk membentuk bank yang sesuai dengan prinsip syariah yaitu menggunakan sistem bagi hasil menjadi lebih besar.
Perkembangan perbankan syariah di Indonesia secara kelembagaan diawali dengan didirikannya Koperasi Jasa Keahlian Teknosa. Koperasi ini merupakan sebuah lembaga keuangan syariah yang pertama kali beroperasi berdasarkan prinsip-prinsip syariah. Koperasi ini berbentuk Baitul Tamwil yang mulai beroperasi pada 4 Juli tahun 1984.