Ada segolongan umat Islam yang belum merasa puas dengan pendekatan diri kepada Tuhan melalui ibadah salat, puasa dan haji. Al-tasawwuf atau Sufisme ialah istilah yang khusus dipakai untuk menggambarkan mistisisme dalam Islam. Tujuan dari mistisisme ialah memperoleh hubungan langsung dengan Tuhan, sehingga disadari benar bahwa seseorang berada di hadirat Tuhan. Inti dari mistisisme adalah kesadaran akan adanya komunikasi dan dialog antara roh manusia dengan Tuhan.
Istilah al-tasawwuf dan al-sufi berasal dari kata suf yaitu wol. Bukan wol dalam arti modern, wol yang dikenakan orang-orang kaya, tetapi wol priitif dan kasar yang dipakai di zaman dahulu oleh orang-orang miskin di Timur Tengah. Orang-orang sufi ingin hidup sederhana dan menjauhi hidup keduniawian dan kesenangan jasmani, dan untuk itu mereka hidup sebagai orang-orang miskin dengan memakai wol kasar tersebut.
Beberapa penulis berpendapat bahwa tasawwuf berasal dari kebiasaan rahib-rahib Kristen yang menjauhi dunia dan kesenangan materil. Ada pula yang mengakatan tasawwuf timbul atas pengaruh ajaran-ajaran Hindu. Bagaimanapun paham bahwa Tuhan dengan manusia yang merupakan ajaran mistisisme, terdapat dalam Al-Quran dan hadis. Contohnya surat Al-Baqarah ayat 186, mengatakan :
Dan apabila hamba-hamba-Ku bertanya kepadamu tentang Aku, maka (jawablah), bahwasanya Aku adalah dekat. Aku mengabulkan permohonan orang yang berdoa apabila ia memohon kepada-Ku, maka hendaklah mereka itu memenuhi (segala perintah-Ku) dan hendaklah mereka beriman kepada-Ku, agar mereka selalu berada dalam kebenaran.
Tasawwuf yang mula-mula timbul memanglah zahid-zahid. Di zaman Rasul, telah ada sahabat-sahabat yang menjauhkan diri dari hidup duniawi, seperti Abdullah Ibn Umar disebut pula nama-nama Abu Al-Darda', Abu Zar Al-Ghiffari, Bahlul Ibn Zuaib, dan Kahmas Al-Hilali. Zahid pertama dan termahsyur dalam sejarah tasawwuf ialah Al-Hasan Al-Basri. Ia lahir di Madinah tahun 642 M dan meninggal di Basrah pada tahun 728 M. Selain dari alim besar ia juga zahid besar. Oleh sebab itu ia dipandang kaum sufi sebagai imam.
Banyak ucapannya yang mempengaruhi kaum sufi. Ia pernah mengatakan, "Aku zahid terhadap dunia ini karena ingin dan rindu pada akhirat". Ucapan-ucapan lainnya: "Bersikaplah terhadap dunia ini seola-olah engkau tak pernah berada di atasnya, dan bersikaplah terhadap akhirat seola-olah engkau tidak akan keluar-keluar dari dalamnya". "Juallah hidup duniamu untuk memperoleh hidup akhirat, pasti keduanya akan engkau peroleh. Tetapi janganlah jual hidup akhiratmu untuk memperoleh hidup dunia, pasti keduanya lenyap dari tanganmu".
Zahid lain yang besar pengaruhnya bagi kaum sufi adalah Ibrahim Ibn Adham dari Balkh di Khurasan. Ia lahir di Mekkah ketika kedua orang tuanya melaksanakan rukun haji. Ayahnya Adham adalah Raja dari Balkh. Dari anak Raja Ibrahim akhirnya berubah menjadi zahid kaum sufi. Perubahan itu terjadi ketika iya sedang berburu dan mendengar suara, "Engkau bukanlah diciptakan untuk ini". Riwayat lain menyebutkan bahwa perubahan itu terjadi akibat suatu mimpi.
Mendengar suara-suara serupa, Ibrahim meninggalkan kerjaannya dan selanjutnya hidup sebagai zahid. Ia pindah dari satu tempat ke tempat lain dan melakukan berbagai macam pekerjaan untuk bertahan hidup. Dikatakan bahwa ia pernah bekerja sebagai tukang kebun dan tukang potong kayu api. Ia meninggal pada tahun 777 M.
Selain mereka berdua masih ada zahid-zahid lain.
Dalam perkembangan zahid terdapat dua golongan zahid. Satu golongan zahid meninggalkan kehidupan duniawi dan kesenangan materil lalu memusatkan perhatian pada ibadat karena didorong oleh perasaan takut akan masuk neraka. Golongan lain didorong didorong bukan oleh perasaan takut, melainkan oleh perasaan cinta kepada Tuhan. Mereka meninggalkan kehidupan duniawi dan banyak beribadah karena ingin mendekatkan diri kepada Tuhan.
Tujuan sebenarnya dari sufi ialah berada sedekat mungkin dengan Tuhan sehingga tercapai sebuah penyatuan. Jalan untuk menjadi seorang sufi itu panjang dan ada tahapan-tahapan yang harus dilewati, dalam bahasa arab disebut al-maqamat. Buku-buku tasawwuf tidak selamanya memberikan angka dan tahapan yang sama. Yang biasa disebut adalah tobat, zuhud, sabar, tawakal dan rida.