Asıl adı Yusuf Sinan olan Sümbül Efendi 1452 yılında Merzifon’da doğdu. Sümbül lakabı kendisine şeyhi Cemâl-i Halvetî tarafından verilmiştir. İlköğrenimini Merzifon’da yapan Sümbül Efendi, İstanbul’a gelerek medrese tahsili yaptı. Devrin tanınmış alimlerinden Efdalzâde Hamîdüddin’in talebesi oldu. Bir arkadaşının vasıtasıyla tanıştığı Halvetiyye tarikatının ana kollarından biri olan Cemâliyye’nin piri Cemâl-i Halvetîye intisap ederek tasavvuf yoluna girdi. 1494 yılında Hac yolculuğundan dönerek vefat eden şeyhi Cemâl-i Halvetînin vasiyeti üzerine, kızı Safiye Sultan ile evlendi ve Koca Mustafa Paşa Dergâhı’nda postnişin oldu. Fatih Camii ve Ayasofya Camii’nde vaazlar veren Sümbül Efendi, Eylül 1529 yılında vefat etti. Fatih Camii’nde kılınan cenaze namazının ardından Koca Mustafa Paşa Dergâhı’nın haziresine defnedildi.
Türbe, bugünkü görünümünü Sultan II. Mahmud Han (1808-1839) zamanında yapılan onarım ve Serasker Mehmet Rıza Paşa’nın 1920 yılından önce yaptırdığı restorasyon ile almıştır. İlk yapıldığı zaman sekizgen planlı olan türbe, bugün yuvarlak planlı ve üzeri kubbelidir. Türbenin güneyine yamuk planlı bir giriş bölümü eklenmiş, bu bölüme Sümbül Efendi ile Serasker Mehmed Rıza Paşa’nın mezarlarının bulunduğu bölümün kapıları açılmıştır. Ayrıca burada Hattat Ömer Efendi’nin mezarı ile bir de kuyu bulunmaktadır.