بناي رفيع و مستحكمي وجود دارد كه در ميان مردم محل به دژ معروف است. اين بنا در سال 1288 هجري قمري مطابق باسال 1250 هجري شمسي به دستور يكي از نيكوكاران شيراز به نام حاج ميرزا ابوالحسن خان مشيرالملك با هزينه اي معادل چهل هزارتومان به پول آن زمان ساخته شد. معمار اين ساختمان حاج محمد رحيم شيرازي سازنده پل مشير و كاروانسراي دالكي مي باشد كه به طرز ماهرانه اي اقدام به ساخت آن به سبك معماري زنديه نمود عمده مصالح تشكيل دهنده آن سنگ‚ گچ و ساروج مي باشد و در كف آن در آغاز از تخته سنگ هاي بزرگئ كوچك تراشيده استفاده گرديده بام كاروانسرانيز با سنگ پهن تراشيده شده مفروش گرديده بود. به هنگام بارندگي آب باران بوسيله ناودانهاي سنگي كه به طرز جالبي تعبيه شده بودند به بيرون از كاروانسرا هدايت ميگرديد در ديوار ضلع غربي كاروانسرا درب ورودي بسيار بزرگي از جنس چوب قرار گرفته است كه راه ورودي اصلي به حياط كاروانسرا بوده است. در همين ضلع طبقه دوم كاروانسرا وجود دارد كه به شاه نشين معروف مي باشد . در جلوي همين شاه نشين يك تراس نسبتاً وسيع رو به خارج ديده مي شود. در دو طرف اين شاه نشين راه پله هايي وجود دارد كه پشت بام كاروانسرا را به محوطه ديگري كه به منظور ميرسد اندرون كاروانسرا مخصوص زنان و كودكان بوده است وصل مي نمايد. بسياري از جغرافي نويسان و مورخين از جمله ميرزا حسن حسيني فسائي در كتاب فارسنامه ناصري و همچنين مرحوم فرصت الدوله شيرازي و حاج سياح‚ از شكوه و عظمت اين بنا سخن به ميان آورده اند اين اثر مثل ساير كاروانسرا هاي ديگر داراي جهار برج مرتفع مي باشد كه ارتفاع هر كدام در حدود 12/70 متر ميرسد. مساحت كل بنا 7000 متر مربع با زير بنايي در حدود 4200 متر مربع مي باشد . اندازه هاي ضلع شرقي - غربي آن بطول 90 متر و ضلع هاي شمالي - جنوبي آن بعرض 70 متر مي باشد. اين كاروانسرا مجموعاً داراي 68 باب اتاق و حجره بوده كه به دليل تغيير كاربردي آن در دوره هاي بعدي تعداد اطاقها كم يا زياد شده اند. از اين ساختمان با شكوه تا سال 1300 هجري شمسي بعنوان كاروانسرا استفاده مي شود كه به دليل واقع شدن شهر برازجان بر سر راه تجارتي شيراز به بوشهر مكاني مناسب جهت استراحت كاروانيان بوده است. از سال 1300 هجري شمسي كه قشون نظامي به برازجان وارد گرديد اين كاروانسرا محل مناسبي براي استقرار نظاميان شناخته شد. در سالهاي بعد با تاسيس ادارات در اين شهر محل استقرار اداراتي از قبيل ماليه ( دارايي) دخانيات منطقه جنوب كه تا سال 1310 به طول انجاميد گرديد. از سال 1335 هجري شمسي با تغييرات و تعميراتي در آن اين ساختمان در اختيار شهرباني قرار گرفت كه از آن بعنوان زندان استفاده گرديد . به همين مناسبت اين ساختمان از اين سال به بعد به ( دژ برازجان) موسوم گرديد . اين زندان تا سال 1351 هجري شمسي بصورت يكي از مخوف ترين زندانهاي سياسي كشور در آمد كاربردي آن به عنوان ندامتگاه تا سال 1377هجري شمسي ادامه داشت تا اينكه با پيگيريهاي مكرر مديريت ميراث فرهنگي بوشهر بدليل اهميت و ارزش آن و همچنين بدليل بي توجهي نيروي انتظامي در حفاظت و نگهداري اصولي بنا كه موجبات تخريب روز افزون آن را فراهم كرده بود تخليه در جهت كاربري فرهنگي و هنري اين اثر تاريخي مرمت هاي لازم بر روي آن صورت گرفته است‚ اين بنا در سال 1362 به شماره 1638 در فهرست آثار ملي كشور به ثبت در آمده است .
