آپ کی وفات [[42ھ]] [[662ء]] میں ہوئی.اسسفر وقتجہاد آپمیں بزرگعام ہووبا چکےپھیلی تھے۔اور قسطنطنیہمجاہدین موجودکی إسطنبولبڑی تعداد اس کے سفرنذر جہادہو گئی، ابوایوب بھی اس وبا میں بیمار ہوئے، یزید بن معاویہ عیادت کے لیے گیا اور پوچھا کہ کوئی وصیت کرنی ہو تو فرمائیے تعمیل کی جائے گی، آپ نے فرمایا تم دشمن کی سرزمین میں جہاں تک جاسکو میرا جنازہ لیجا کر دفن کرنا، چنانچہ وفات کے بعد اس کی تعمیل کی گئی، تمام فوج نے ہتھیار سج کر رات کو لاش قسطنطنیہ کی دیواروں کے نیچے دفن کی، نماز میں جس قدر مسلمان فوجی شامل تھے دفن کرنے کے بعد یزید نے مزار کے ساتھ کفار کی بے ادبی کے خوف سے اس کو زمین کے برابر کرادیا، صبح کو رومیوں نے مسلمانوں سے پوچھا کہ رات آپ لوگ کچھ مصروف سے نظر آتے تھے، بات کیا تھی، یذیدمسلمانوں نے کہا کہ ہمارے پیغمبر کے ایک بڑے جلیل القدر صحابیدوست نے وفات پائی ہے،پائی، ان کے دفن میں مشغول تھے؛ لیکن جہاں ہم نے دفن کیا ہے تمہیں معلوم ہے، اگر مزار کے ساتھ کوئی گستاخی تمہاری طرف سے روا رکھی گئی تویاد رکھو اسلام کی وسیع الحدود حکومت میں کہیں ناقوس نہ بچ سکے گا۔
ابو ایوب کا مزار اسطنبولدیوار میںقسطنطنیہ کے قریب ہے اور اب تک زیارت گاہ خلائق ہے، رومی قحط کے زمانہ میں مزار پر جمع ہوتے تھے، اس کے وسیلہ سے بارانِ رحمت مانگتے تھے اورخدا کے لطف و کرم کا نظارہ کرتے تھے۔<ref>اسد الغابہ، تذکرہ ابو ایوب انصاری</ref><ref>ابن سعد، جلد3</ref>
