دهم شهریور 1338 درخانواده ای مستاجر و فقیر در شهرستان بجنورد به دنیا آمد. پیش از مدرسه, او را به مکتبخانه فرستادند و سپس در دبستان منوچهری شهرستان علی آباد مشغول به تحصیل شد. علاقه ی زیادی به مدرسه داشت . اوقات فراغت را به مسجد می رفت و یا به ورزش می پرداخت. در مقایسه با کودکان دیگر بسیار آرام و ساکت بود. اخلاق و رفتارش از دیگر فرزندان خانواده بهتر بود. دوره راهنمایی را در مدرسه سپهر شهرستان علی آبادگذراند. در این ایام در اوقات فراغتش را درکارهای ساختمانی به فعالیت می پرداخت. دوره متوسطه را در هنرستان پی گرفت و سال دوم متوسطه بود که در آزمون ورودی دانشسرا قبول شد. یک روز که مادر فرح پهلوی – همسر شاه خائن – از دانشسرا بازدید می کرد, رحمانی از شرکت در مراسم خودداری کرده و در نتیجه از طرف مسئولین تنبیه شد.
بعد از پیروزی انقلاب اسلامی به شغل معلمی که آرزویش بود روی آورد و در دانشسرای تربیت معلم گرگان, تحصیلات خود را ادامه داد.در سال 1358 به عضویت سپاه در آمد. در سال 1358 با خانم فاطمه قزلسفلو – دیپلمه و بیست و یک ساله – با مهریه ای معادل یکصد هزار تومان ازدواج کرد. و پس از ازدواج در روستای حاجی کلاته, زندگی مشترک خود را آغاز کردند.
همسرش می گوید:
ایمان, تقوی, اخلاق و رفتار اسلامی و فرهنگی او سبب شد به پیشنهاد ازدواج او پاسخ مثبت بدهم. ما هیچ وقت در زندگی مشکل خاصی نداشتیم و او بسیار با صفا و صمیمی بود. فقط به علت نداشتن خانه شخصی, کمی به دردسر افتاده بودیم که بعد از چند سال با کمک هم منزلی آن هم نیمه ساز ساختیم. در اوقات فراغت در کار منزل, در پختن غذا و نگهداری بچه ها کمک می کرد. کتابهای گوناگون مطالعه می کرد و در بسیج و سپاه فعالیت داشت. تحولات روحی و معنوی او هر روز بهتر از روز قبل شد و همیشه سعی می کرد تقوی را پیشه کند. از اشخاص دروغگو و خانمهای بدحجاب دوری می جست. از حسن شهرت برخوردار بود. خیلی کم عصبانی می شد و در مشکلات با من مشورت می کرد. بزرگترین آرزویش زیارت خانه خدا و کربلا بود که به حج مشرف شد.
رحمانی از همراهان سیاسی جامعه روحانیت بود و در تشکیلات جزب جمهوری اسلامی فعالیت می کرد.
اولین فرزند وی – مریم – در سال 59 به دنیا آمد. از 1360 به عنوان بسیجی به جبهه اعزام شد. در محور بانه – سردشت از ناحیه پا مجروح شد. در سال 1361 فرزند دومش – زهرا – در حالی که او در جبهه ها حضور داشت. متولد شد در 24 فروردین 1362 آخرین وصیت نامه اش را نوشت .
در سال 1364 فرزند سوم رحمانی – مهدی – متولد شد و او در همین سال از طرف سپاه به سفر حج مشرف شد. در 6 فروردین 1365 مسئولیت فرماندهی گردان امام حسن (ع) را در جبهه به عهده گرفت. همرزمان رحمانی, صفات اخلاقی بارز وی را ,تواضع و شجاعت ذکر کرده اند. یکی از همرزمان وی که از سال 1359 به مدت شش سال با او آشنایی داشته است در این باره می گوید:
از وقتی او را شناختم با دیگران تفاوت چشمگیری داشت. هر روز صبح قبل از دیگران بیدا می شد. صبحانه را آماده می کرد و ضمن نظافت شخصی به نظافت چادر می پرداخت و سعی می کرد کسی متوجه نشود که ایشان این کارها را می کند.
غلامرضا کوگلانی – از همرزمان وی – می گوید: در شبهای رزم در داخل کانال, بیل به دست می گرفت وکانال می کند.
حاج ابراهیم علی آبادی, ذکر می کند که او همیشه از فرمانده لشکر درخواست می کرد گردان امام حسن (ع) تحت فرماندهی او را به عنوان خط شکن در عملیات شرکت دهد.