زمانی که امامزادگان آقاعلی عباس و سیدمحمد(ع) توسط لشکریان مامون در منطقه به شهادت رسیدند و کسی از ترس ماموران جرات نزدیک شدن به جنازه ایشان را نداشت. زنان خالدآباد (به نقل از گذشتگان چهل دختر) عزم را جزم کرده و برای دفن حضرات اقدام کردند. در تذکره امامزادگان آمده که والی خالدآباد(خواجه ابراهیم) تولیت آستان را برعهده داشته و بعد از او نیز فرزندانش این مسئولیت را برعهده داشته اند.دو طایفه سعیدی و عابدی از نسل آن بزرگان هم اکنون در شهر خالدآباد زندگی می کنند.

مسجد بیرین با قدمت حدود ۸۰۰ سال متعلق به دوره ایلخانی است. این اثر به شماره ۱۴۲۱۵ مورخ ۱۳۸۴/۱۱/۰۹ در فهرست آثار باستانی به ثبت رسیده است.

این مسجد که با شماره  ۱۲۱۱۱-۸۴/۴/۳۰ در فهرست آثار باستانی به ثبت رسیده است در مرکز محله تاریخی شهر و در کنار حمام خزینه‌ای قرار دارد  و به همین دلیل نام آن را ورگرموئه (در زبان محلی به معنای کنار حمام ) نهاده‌اند. کارشناسان قدمت بنای اولیه مسجد را به اواخر دوره صفویه نسبت می‌دهند اما با توجه به سبک ساخت مسجد و پایه‌های ضخیم بنا شاید بتوان قدمت آن را به پیش از صفویه نیز نسبت داد.