اسی زمانہ میں جب القاعدہ کی قیادت کے ساتھ ان کے تعلقات استوار ہوچکے تھے لیکن وہ القاعدہ میں شامل ہونے سے گریزاں تھے کیونکہ وہ بدستور اس نظریے کے حامی تھے کہ جس طرح طالبان نے افغانستان میں اسلامی حکومت قائم کی ہے اسی طرح عرب مجاہدین کو بھی اپنے ممالک میں اسلامی حکومتوں کے قیام کے لیے جدوجہد کا آغاز کرنا چاہئے۔چاہیے۔ دسمبر2001ء میں وہ ہرات سے قندھار آگئے کیونکہ امریکی فوج افغانستان میں داخل ہوچکی تھی اور عرب مجاہدین کا ہر طرف شکار کیا جارہا تھا۔ اردنی صحافی فواد حسین کا دعویٰ ہے کہ قندھار میں بمباری کے دوران الزرقاوی زخمی ہوگئے لیکن کسی طرح اسامہ بن لادن کے پاس تورا بورا پہنچ گئے ، وہاں سے فرار ہو کر خوست اور پھر شمالی وزیرستان پہنچے ۔ یہیں چند دن قیام کیا اور پھر کوئٹہ کے راستے سے افغانستان میں داخل ہو کر ایران کو نکل گئے۔ ایران میں گلبدین حکمت یار کی حزب اسلامی کی مدد سے 2003ء میں وہ عراق چلے گئے۔ ایرانی شہر زاہدان سے بغداد تک انکا القاعدہ سے رابطہ رہا لیکن وہ القاعدہ میں شامل نہ ہوئے۔ اب ایک نئی وجہ اختلاف یہ تھی کہ القاعدہ اہل تشیع کے خلاف کارروائیوں کی مخالف تھی لیکن الزرقاوی کا کہنا تھا کہ اہل تشیع نے افغانستان اور عراق میں امریکی فوج کا ساتھ دیا اس لیے ان پر حملے جائز ہیں۔
