با مرگ طغرل، عمید الملک کندری وزیر وی، سلیمان بن چغری داود را که به قول راوندی کودک بود، به شاهی نشاند.این کار مورد قبول امرا قرار نگرفت.آنان از آلپ ارسلان فرزند دیگر داود که امیر خراسان بود، خواستند تا به ری آمده سلطنت را عهده دار شود.بدین ترتیب، دومین شاه سلجوقی در سال 455 قدرت را در ری به دست گرفت.
نخستین اقدام سلطان جدید آن بود که عمید الملک، وزیر برجسته طغرل را دستگیر کرد.عمید که خود دریافته بود دیگر پایگاهی ندارد، کار را به نظام الملک وزیر آلپ ارسلان واگذاشت و کناره گیری کرد.هواداری مردم از وی، سبب ترس آلپ ارسلان شده، عمید الملک را دستگیر کرد.به یقین، تحریکات مخالفان عمید الملک در خراسان، به ویژه نظام الملک، در این اقدام مؤثر بوده است.عمید به مدت یک سال در مرو الروذ زندانی گردید.پس از آن در سال 456 به دستور سلطان کشته شد.راوندی نوشته است: و نظام الملک در آن ساعی و راضی بود.
عمید الملک کندری، وزیر طغرل، یکی از چهره های برجسته در میان وزرای ایرانی است.او حنفی متعصبی بود و به شدت بر ضد شافعیان فعالیت می کرد.این امر سبب تحریک برخی از عالمان شافعی مذهب خراسان شد.وی از طغرل اجازه گرفت تا در منابر خراسان بر رافضیان لعنت کنند .پس از آن دستور داد تا اشعریان را نیز لعن کنند.این زمان، مذهب اشعری در میان بسیاری از سنیان شافعی خراسان گسترش یافته و عالمانی چون ابو القاسم قشیری و ابو المعالی جوینی طرفدار آن بودند.
پس از آن که لعن اشعریان شایع شد، آنان به عنوان اعتراض از خراسان بیرون رفتند.جوینی به مکه رفت و به امام الحرمین شهرت یافت.زمانی که نظام الملک شافعی به قدرت رسید، وی را به خراسان بازگرداند.اقدام ناپسند کندری یکی از علل مهم گسترش اختلافات مذهبی در ایران آن روزگار است.
اکنون آلپ ارسلان وارث سرزمینی وسیع و گسترده بود.در بسیاری از مناطق، امیران محلی با قبول سلطه سلجوقیان، پرداخت مبلغی پول، و خواندن خطبه به نام سلطان سلجوقی، امارت موروثی خود را نگاه داشتند.در بغداد نیز به نام آلپ ارسلان خطبه خوانده می شد.در دوران امارت آل بویه نیز، هیچ گاه سرزمینی با این وسعت در اختیار یک سلطان نشین وجود نداشت.
از سوی دیگر، ترکان که هنوز دو دهه از بیابانگردی شان نگذشته بود، به سرعت خود را با اوضاع جدید تطبیق داده و با استفاده از تشکیلات دیوانی خراسان و وزیران برجسته ای مانند عمید الملک و نظام الملک، توانستند امور این سرزمین وسیع را سامان دهند.
برای سلجوقیان نیز، همانند سایر سلطان نشین ها، اختلافات خانوادگی امری طبیعی بود.هنوز شش سال از کشته شدن ابراهیم ینال نگذشته بود که قتلمش عموی طغرل، بر ضد آلپ ارسلان شورید .در جنگی که در گرفت، قتلمش کشته شد.به این ترتیب بار دیگر وحدت به دولت سلجوقی بازگشت .فرزندان قتلمش در بخش مسلمان نشین مناطق آسیای صغیر، قدرت خود را حفظ کرده، پس از گشودن سرزمین های تازه ای در آن ناحیه، سلسله ای را که در تاریخ با نام سلاجقه روم شهرت دارد، تأسیس کردند.
آلپ ارسلان پس از سرکوبی شورش قتلمش، به ری، که تا این زمان مرکز امارت سلجوقیان بود، بازگشت.در طی سالهای شاهی آلپ ارسلان، وی جنگ هایی با رومیان داشت.او در سال 465 به آذربایجان رفت که در آنجا امیری از ترکمانان با نام طغدکین به جنگ با رومیان مشغول بود .این امیر از آلپ ارسلان خواست تا در جهاد با کفار او را یاری کند.گفتنی است که پیش از مهاجرت ترکمانان سلجوقی، شمار زیادی از طوایف ترکمان از سواحل خزر در آذربایجان و حتی مرکز ایران استقرار یافته بودند.
آلپ ارسلان، پسرش ملکشاه را با وزیرش به سوی رومیان فرستاد.آنها به شهر مریم نشین حمله کرده و پس از ورود به شهر، به ویران کردن کلیساها پرداختند.از آنجا به سوی شهرها و قلعه های دیگر رفته، مناطق زیادی را در حاشیه رود ارس به تصرف در آوردند.
پس از آن، آلپ ارسلان به سوی اصفهان و سپس کرمان رفت که برادرش قاوردحاکم آن شهر، بر وی شوریده بود.قاورد سر سلسله سلجوقیان کرمان به شمار می آید.با رفتن وی، شورش مزبور آرام گرفت.آلپ ارسلان برای دو فرزندش، دختری از قراخانیان ماوراء النهر و دختری از امیر غزنه گرفت و به این وسیله در اتحاد این چند خاندان کوشید.با این حال، اختلافات خانوادگی کمابیش میان خود سلجوقیان وجود داشت.کرمان بار دیگر در سال 459 شورید و آلپ ارسلان مجبور شد تا بار دیگر به این شهر یورش برد.از آن جا به فارس رفت و قلعه های فتح ناشده ای را گشود.به طور معمول، مبالغ هنگفتی دینار و درهم در این قلعه ها نگهداری می شد، که به تصرف در می آمد.در برابر، تصرف این قلعه ها نیز که از سوی صاحبانشان با حکمت انتخاب شده بود، بسیار دشوار بود.
گسترش قدرت سلجوقیان تا به آنجا رسید که مردم حلب، بدون آن که رنگ سپاه سلجوقی را ببینند، مصمم شدند تا نام خلیفه عباسی و آلپ ارسلان را در خطبه بیاورند.دلیل این مطلب آن بود که مردمان حلب، شیعه بودند و ترس آن داشتند تا با آمدن سپاه ترکان، آنها را به دلیل داشتن مذهب تشیع قتل عام کنند.اندکی پس از تصمیم مردم حلب و امیر آنها محمود بن صالح بن مرداس از آل مرداس ، آلپ ارسلان به سوی حلب آمد.
امیر حلب با اظهار اطاعت، از حضور نزد سلطان خود داری کرد، اما سلطان قصد آن داشت تا به زور وارد شهر شود، به ویژه که مسأله مهم برای او به عنوان یک سلطان مدافع تسنن، آن بود که مردم شیعه این شهر حی علی خیر العمل در اذان می گویند.شهر محاصره شد و عاقبت محمود، شبانه خود را به سلطان رساند.آلپ ارسلان وی را بخشید و امارت شهر را به او واگذاشت .در عوض، مبالغ هنگفتی پول گرفت و بازگشت.این یکی از سیاست های اصولی او در سپردن شهرها به امیران شکست خورده همان شهرها بود.
برای آلپ ارسلان مهم آن بود که اذان شیعی در جایی گفته نشود.به همین دلیل در سال 462 شریف مکه نزد وی آمد و به او بشارت داد که اکنون در مکه، خطبه به نام خلیفه عباسی است نه المستنصر فاطمی.به علاوه، اذان شیعی نمی گویند! همین سبب شد تا از دست آلپ ارسلان هدایایی دریافت کند.شریف مکه در سال 467 بار دیگر خطبه به نام مستنصر فاطمی خواند.
آلپ ارسلان در طول ده سال حکومت خود، در عین حال که سراسر آن را به رفتن به این سوی و آن سوی گذراند، کوشید تا پایه های دولت خویش را استحکام بخشد.از یک سو به فتوحات روی آورد که خود سبب به دست آوردن غنایم فراوان، و نیز کسب وجهه و اعتبار می شد.همچنین امیران محلی هر دیار را، با آن که می توانست آنان را سرکوب کند، سرجایشان گماشت و به گرفتن مبالغی پول اکتفا کرد.این سیاست دو پهلویی بود که هم سبب آرامش منطقه می شد و هم در صورت بروز بحران، خطرزا بود.
آلپ ارسلان با خلیفه عباسی نیز به آرامی و بدون تهدید برخورد کرده حاضر نشد با رفتن به بغداد خود را در موقعیت دشوار رویارویی با خلیفه یا اطرافیان او قرار دهد.معمولا خلیفه در بغداد وزیری داشت، چنان که سلطان سلجوقی نیز امیر الامرایی در آنجا می گماشت .علاوه بر آن، وزیر سلطان با وزیر خلیفه می کوشیدند تا مشکلات دو طرف را حل کنند.شگفت آن که، نظام الملک دخترش را به فرزند ابن جهیر، وزیر القائم عباسی داد و بدین صورت روابط مستحکمی میان آن دو درگاه ایجاد شد.این قبیل ازدواج های سیاسی در این دوره تاریخی، بسیار گسترده و فراوان است.
آلپ ارسلان چند سال پیش از کشته شدنش که در سال 465 رخ داد، پسرش ملکشاه سلجوقی را که امیر زاده ای نیرومندی اما بسیار جوان بود، به جانشینی گماشت.بدین ترتیب راه برای ادعای سایر افراد خانواده بسته شد.
مهم ترین نقش را در این دوره و دوران پسرش ملکشاه که بیست سال بر قلمرو وسیع سلجوق حکومت کرد نظام الملک عهده دار بود که در ادامه از او سخن خواهیم گفت.
وصف راوندی از این سلطان سلجوقی خواندنی است:
سلطان آلپ ارسلان پادشاهی بود با هیبت و سیاست، تا زنده و کامکار و بیدار، دشمن شکن خصم افکن، بی نظیر و جهانگیر، تخت آرای و گیتی گشای، قدی عظیم داشت و محاسنی دراز، چنانک به وقت تیر انداختن گره زدی و هرگزی تیر خطا نکردی...و از سر محاسن تا سر کلاه او گویند دو گز بودی و هر رسول که پیش تخت او آمدی، بهراسیدی.
