Kerametlerinden biri şöyle nakledilir:

Tarikat-ı Kadiriyye şeyhlerinden Şeyh Ali Arabi isimli cezbe sahibi birisi İstanbul’a gelip, Şehremini civarında bulunan Cafer Ağa Camii’nde ikamet etmiş, burada Kadiri zikri yapmaya başlamıştı. Kısa zamanda kendilerine pek çok kimse intisab etmiş, halkası kalabalıklaşınca camii civarında bulunan Müfti Ali Çelebi’nin hanesine yerleşmişti. Müntesiplerinin artmasının verdiği şevkle “Biz bu şehre gelmeseydik bu şehrin dervişleri zayi olacağından korkulurdu.” Diye açıkça kendini öcen sözler söylemişti. Bu kişiye bilahare Hz. Sivasi Efendi’nin halifelerinden Yeniçeri Mehmed Efendi’nin de gönlü meyletmiş ve gidip kendisine biat etmişti. Durum Sivasi Efendi’ye haber verildiğinde tabiatı gereği celal ve gayrete gelip “Görelim kuvveti esmadan hangi isimledir.” Demiş. Bir süre murakabeye daldıktan sonra başını kaldırıp “Vird-i, İsm-i Celal imiş, İsm-i Celal ateşini üzerine havale ettik. Hüner divane müptedi bir dervişi benden almak değil, Celal ateşini vücudundan uzaklaştırmaktır.” Buyurmuşlar. O sırada Şeyh Ali hanesinde “Hay yandım” diye bazen Arapça bazen Türkçe feryad etmeye başlamış. Dervişler elbiselerini çıkarıp, üzerine testilerle soğuk su dökmeye başlamışlar. Manevi ateşin suri ateşle sönmeyeceğini anlayan şeyh, müritleriyle esma zikri yapmaya başlamış, bir gün bir gece bu hal üzere meşgul olmuşlar. Ancak şeyhin ateşi düşmek yerine iyice artmış, bunun üzerine müridlerine: “Bu ateş bana dün biat verdiğim dervişin şeyhi tarafındandır.” deyip, Mehmed Çelebi’ye; “Derviş senin şeyhin kim?” diye sormuş, o da; “Hz. Sivasi Efendi’dir.” diye cevap vermiş. Şeyh Ali Arabi de kalkıp Hz. Sivasi Efendi’ye gitmiş ve yaptığı bu yanlıştan dolayı kendisinden özür dilemiş. Sivasi Efendi hazretleri de ona: “Sen tarikat adabından habersiz biriymişsin. Bilmez misin ki her ilim sahibinin üstünde daha iyi bilen vardır. Biz sana Celal ateşinin bir kısmını gönderdik. Eğer arttıracak olsaydık halin nice olurdu?” deyince Şeyh Ali “Helak olurdum, vallahi helak olurdum.” demiş. Bunun üzerine Hz. Pir tebessüm ederek “Seni affettik, bir daha böyle küstahlık etme.” buyurarak azametini ortaya koymuşlardır.