ظہیر الدین بابر کی خود نوشت سوانح ’’تزک بابری‘‘ میں ملتاہے، جس نے 1519ء میں اس علاقے کاسفرکیااور ایک باغ بنوایاتھا۔ اپنی کتاب میں بابر لکھتاہے ’’میں نے پیش قدمی کی اور نمازِ ظہر کے وقت کلاہ کنار میں جا پہنچے،جس کے قریب ایک بڑا ساتالاب واقع ہے۔ یہ تالاب تقریباً تین میل کے رقبہ میں پھیلا ہے ،جو بارش کے پانی سے عموماً بھرا رہتاہے۔ ا س تالاب کے قریب ایک مرغزار بھی ہے۔ ایک ندی بھی ہے اور دامنِ کوہ میں ایک چشمہ بھی پھوٹتاہے۔ یہ جگہ اور اس کا ماحول مجھے بہت پسند آیا۔ اس لیے میں نے یہاں ایک باغ لگوایا اور اس کا نام باغِ صفا رکھا‘‘۔1860ء میں محکمہ مال ، حکومت ہندنے کلرکہار کو سرکاری تحویل میں لے لیا اور یہاں پھلوں کے درخت لگوائے، جس سے باغ کی رونق بحال ہوئی۔ اس باغ کے وسط میں ایک بڑے بھاری پتھر کو تراش کرایک تخت بنایاگیا ،جس پر بیٹھ کربابرحکومتی احکام جاری کیا کرتا ۔ اس لیے تخت کو’’ تخت بابری‘‘ کے نام سے یاد کیا جاتا ہے