این شهر با قدمتی دیرینه همپای سیلک کاشان بوده و کارشناسان با بررسی محوطه‌های باستانی شهر (تپه ابوذر و مسی) بر این امر صحّه می‌گذارند که مردمانی که در گذشته در این خطه زندگی می‌کردند مردمانی آشنا با صنعت روز بوده و از آثار زیستی که از منطقه خالدآباد بدست آمده محدوده زندگی مردم خالدآباد در ادوار گذشته در دایره‌ای به قطر ۳ کیلومتر بوده است.
قدیمی‌ترین محله شهر محله توده می‌باشد و همانطور که از نامش پیداست مرکز آبادی بوده و بعدها دو محله دیگر به نام حصارو و قلعه‌نو بوجود آمدند. وضعیت سکونت در گذشته بصورت قلعه‌ای و دسته‌جمعی بوده که متأسفانه این قلعه‌ها بدست جهالت تخریب گردیدند. بعدها به مرور زمان مردم از زندگی در قلعه‌ها به شهرنشینی روی آوردند. بافت ساختاری منازل همچون دیگر شهرهای کویری بصورت حیاط مرکزی (اندرونی) به این صورت که اطاقها در دو یا سه طرف حیاط قرار می‌گرفتند و اطاقهای تابستانی و زمستانی پنجره‌ای کوچک داشتند که ساکنین را از گزند سرما و گرما حفظ کنند از دیگر مشخصه‌های منازل قدیمی سقفهای گنبدی شکل و وجود هشتی و سرداب در اغلب ساختمانها می‌باشد که از سرداب برای سکونت در گرمترین روزهای سال استفاده می‌شد.
