در مورد وجه تسمیه شهر روایت های گوناگونی ست:

۱- خالدآباد را به خالدبن ولید نسبت می‌دهند اما نباید این قول محکم باشد چون با شکست سپاه ایران از سپاه اسلام در زمان خلیفه دوم هنوز نیروهای اسلام در قسمت مرکزی تسلط نداشتند.

 ۲- بعضی خالدآباد را به خالد بن برمکی نسبت می‌دهند که این قول هم اعتبار چندانی ندارد و شاید در زمان ایشان قنات جدید خالدآباد (قنات کهنسال فعلی) احداث شده باشد و وجود قناتهای تخریب شده قبلی دلالت بر این دارد که سابقه بوجود آمدن خالدآباد بیش از این باشد.

۳- وجود تپه‌های باستانی (ابوذر و مسی) که به ثبت میراث فرهنگی رسیده و هنوز حفاری نگردیده‌اند در دل خود تمدنی برابر با سیلک کاشان دارد و عمر آن را به بیش از شش هزار سال گمان زده‌اند.

۴- کلمه «خالدآباد» یا «خلدآباد» یا « خلدبرین» از سرسبزی ، خرمی گرفته شده است که بعدها در چرخش کلامی به «خالدآباد» تغییر کرده است. وجود دو قنات کهنسال «جنت‌آباد» و «خلدآباد» که از پرآب‌ترین قناتهای کویری هستند دلیل بر این مدعاست و حتی در تذکره امامزادگان آقاعلی عباس و شاهزاده محمد که در سال ۱۳۴۸ هجری قمری توسط محمدجعفر بیدگلی فرزند ملامحمدباقر بیدگلی که از روی نسخه اصلی کتابت نموده اشاره دارد بر اینکه : امام حسن عسگری^(ع) پس از مراجعت از طوس در مزرعه خالدآباد توطن فرمودند آنحضرت تنخواهی به والی خالدآباد (وزیر ابراهیم یا خواجه ابراهیم) داده که برای امامزادگان قناتی احداث نمایند و تولیت امامزادگان را به خواجه ابراهیم سپردند.