قلعه رستم در جنوب شرقی شهر خوسف و در غرب روستای کوچکی به نام گنج برفراز تپه­ایر رفیع که بر جلگه خوسف و دشت ماژان مشرف است، قرار دارد.

چون قلعه در محلی واقع شده که دسترسی به آن آسان نبوده لذا آسیب کمتری متوجه برخی از فضاهای آن شده است. در داخل قلعه شش تالار وجود دارد که با طاق­های جناغی پوشش یافته­اند. ارگ چه ورودی این تالارها به دلیل انباشت خاک و آوار مسدود شده است، ولی تالارها نسبتاً سالم مانده­اند.