این اثر که به سبک معماری یزدی بنا شده و قدمت آن را به دوران صفویه نسبت می‌دهند  هنوز به ثبت میراث فرهنگی نرسیده است.

 نقل است که شخصی از اهالی یزد که زائر کربلا یا مکه بوده در هنگام برگشت از مسافرت به مقصد یزد که بار تسبیح و مهر به همراه داشته در شهر خالدآباد بیمار شده و در منزل یکی از اهالی خالدآباد بستری و تحت مراقبت قرار می‌گیرد که بعد از چند روز دار فانی را وداع گفته و در مکانی که در حال حاضر به بقعه باباحاجی معروف است مدفون گشته که بعدها اقوام و فرزندان او به خالدآباد مراجعت نموده و بقعه‌ای به سبک معماری یزدی بر سر قبرش بنا کرده‌اند.

نقل است زمانیکه اهالی قصد غسل دادن میت را داشتند بدلیل فصل سرما نتوانستند وی را با آبهای روان غسل دهند و مجبور به استفاده از آب چاه داخل منازل بودند لذا در طی چند مرحله برداشتن آب از چاه برای غسل دادن هر بار مشکلی بوجود می‌آمد و مانع از انجام کار می‌شد که پس از بررسی متوجه وجود جانور مرده‌ای داخل آب شدند و در آن موقع مشخص شد که باباحاجی فرد باکرامتی بوده است. همچنین نقل است زمانیکه فرزندان وی بر سر مزارش حاضر شدند چون در هنگام گریه و عزاداری برای پدر خود می‌گفتند بابا حاجیم (چون پدرشان حاجی بوده) که به همین علت این فرد به باباحاجی معروف گشت و بقعه باباحاجی هم‌ به همین نام معروف است.