قلعه رستم در جنوب شرقی شهر خوسف و در غرب روستای کوچکی به نام گنج برفراز تپهایر رفیع که بر جلگه خوسف و دشت ماژان مشرف است، قرار دارد.
چون قلعه در محلی واقع شده که دسترسی به آن آسان نبوده لذا آسیب کمتری متوجه برخی از فضاهای آن شده است. در داخل قلعه شش تالار وجود دارد که با طاقهای جناغی پوشش یافتهاند. ارگ چه ورودی این تالارها به دلیل انباشت خاک و آوار مسدود شده است، ولی تالارها نسبتاً سالم ماندهاند.
