در شرق بقعه عالم بابا و بر روی یک رشته تپه‌های خاکی، گورستان وسیع با منظره خیره‌کننده و عجیبی قرار دارد که سنگ قبرهای آن به شکل استوانه‌هایی به ارتفاع 2 متر و بیشتر دیده می‌شود و به نظر می‌رسد بیش از 600 سنگ قبر در گورستان خالد نبی وجود دارد. در این میان سنگ مزارهایی به شکل صلیب یا به شکل شاخ قوچ نیز دیده می‌شوند. در فرهنگ قدیمی ترکمن‌ها، قوچ مظهر قدرت و فرمانروایی است و نقش شاخ قوچ متداول‌ترین نماد قوم ترکمن است.