Tasavvufun ilk kurucusu veya öncüsü olarak bilinen kişi, İslam peygamberi Hz. Muhammed'in (s.a.v.) yakın arkadaşı ve damadı Hz. Ali'dir. Hz. Ali, İslam dininin özünü daha iyi anlamak ve manevi gelişimini artırmak için tasavvufi uygulamalara başvurmuştur. Tasavvuf geleneğinde, Hz. Ali'nin tasavvufi düşüncenin temelini atan kişi olduğuna inanılmaktadır.
Bununla birlikte, tasavvufun kurucusu olarak kabul edilen ilk şahsiyetlerden biri, İranlı mutasavvıf Bayezid Bistami (ö. 874) olarak da bilinir. Bayezid Bistami, tasavvufi düşünceyi şekillendiren ve tasavvufi uygulamaları belirleyen ilk mutasavvıflardan biridir. Onun yaşamı ve öğretileri, tasavvufun gelişiminde önemli bir rol oynamıştır.