در يك كيلومتري جنوب شرقي قصر شاه عباسي يا قصر بهرام در گرمسار يك بناي ديگر صفوي به چشم ميخورد كه حرم سرا ناميده ميشود و ظاهراً در هنگام مسافرت خاندان سلطنتي، حرم سرا و در ساير مواقع محل سكونت شكارچيان سلطنتي بوده است .
آب آشاميدني اين بنا، از چشمههاي واقع در دامنه سياهكوه، توسط يك كانال, پس از عبور از يك دره به استخري در بيرون جبهه جنوبي حرم سرا ميرسيد و پس از پر كردن آن از طريق كانالي ديگر به حوضي در داخل حرم سرا منتقل ميشد. استخر بيرون حرم سرا 60/9 متر طول، 8 متر عرض و حداقل 40/1 متر عمق دارد. كانال آب از وسط استخر به طرف در ورودي و از آن جا به حياط و بالاخره پس از عبور از حوض داخل حياط حرم سرا به طرف عباسآباد و سياهكوه ميرفت كه آثار كانال هنوز در بعضي از نقاط ديده ميشود .
ايوان ورودي از طرف شرق به طول 5/4 متر و عرض 10/3 متر راه دارد و از آن جا به تالاري بزرگ به طول 50/12 متر و عرض 3/4 متر كه با تاقچه و بخاري ديواري دودكشدار تزيين شده؛ مربوط ميشود. درطرف غرب ايوان ورودي نيز يك تالار بسته به طول 70/15 و عرض 30/4 متر ساخته شده كه در آن سه در به ايوان و دو در به خارج باز ميشود. در نيمه جنوبي قسمت غربي حرم سرا، يك تالار بزرگ و در شمال اين تالار دو ايوان وجود دارد. در شمال ايوانها دو اتاق بنا شده كه ابتدا وجود نداشته، ولي بعدها به بنا افزوده شده است . تالارهاي موجود در ضلع شمالي كاملاً منهدم شدهاند و چنين به نظر ميرسد كه زلزلهاي شديد باعث انهدام آن ها شده است
