زمانی که امامزادگان آقاعلی عباس و سیدمحمد(ع) توسط لشکریان مامون در منطقه به شهادت رسیدند و کسی از ترس ماموران جرات نزدیک شدن به جنازه ایشان را نداشت. زنان خالدآباد (به نقل از گذشتگان چهل دختر) عزم را جزم کرده و برای دفن حضرات اقدام کردند. در تذکره امامزادگان آمده که والی خالدآباد(خواجه ابراهیم) تولیت آستان را برعهده داشته و بعد از او نیز فرزندانش این مسئولیت را برعهده داشته اند.دو طایفه سعیدی و عابدی از نسل آن بزرگان هم اکنون در شهر خالدآباد زندگی می کنند.