زمانی که حضرت امام رضا ثامن‌الائمه (ع) جهت ولایتعهدی به ایران مشرف شدند جمعی از اقارب و فرزندان و برادران آن جناب نیز رهسپار این دیار گشتند ازجمله امامزادگان آقاعلی‌عباس و شاهزاده محمد که در منطقه به دستور عبدالحمید یا شهاب‌الدین حکمران بادافشان (بادرود فعلی) به شهادت رسیدند و جنازه پاکشان در بیابان مانده بود و کسی از ترس مأموران جرأت نزدیک شدن به جنازه‌ها را نداشت. تعدادی از زنان خالدآباد (به نقل از گذشتگان چهل نفر) عزم را جزم کرده و برای دفن حضرات اقدام کردند که این امر باعث تهییج مردان گردید و کار را به انجام رساندند. در تذکره امامزادگان آمده که والی خالدآباد (خواجه‌ابراهیم) تولیت آستان را برعهده داشته و بعد از او پسرش حاج یوسف به این سمت منصوب گردید و از آن زمان تا بحال فرزندان ایشان در امر عمران و آبادی بارگاه امامزادگان فعالیت داشته‌اند و در سال ۱۲۹۹ هجری قمری که مسئولیت بارگاه برعهده میرزا ابوالقاسم بوده و ایشان افرادی را جهت دریافت نذورات به اطراف و اکناف اعزام می‌نمود نوشته‌ای داشت که به تأئید علمای وقت کاشان رسیده و اعلام نموده بودند که دادن نذورات به افراد اعزامی بدلیل اینکه انتصاب ازطرف ابوالقاسم بوده و ابوالقاسم مورد وثوق اینجانبان می‌باشد بلامانع خواهد بود. دو طایفه سعیدی و عابدی از نسل آن بزرگان هم اکنون در این شهر زندگی می‌کنند.