در این هنگام اوضاع جهان دگرگون شده بود ناچار من از گرگانج بیرون آمدم مدتی همچون آوارهای در شهرها میگشتم تا به گرگان رسیدم و از آنجا به دهستان رفتم و دوباره به گرگان بازگشتم و مدتی در آن شهر ماندم و کتابهایی تصنیف کردم. ابو عبید جوزجانی در گرگان به نزدم آمد.
ابو عبید جوزجانی گوید: این بود آنچه استادم از سرگذشت خود برایم حکایت کرد. چون من به خدمت او پیوستم تا پایان حیات با او بودم. بسیار چیزها از او فرا گرفتم و بسیاری از کتابهای او را تحریر کردم استادم پس از مدتی به ری رفت و به خدمت مجدالدوله از فرمانروایان دیلمی درآمد و وی را به بیماری سودا دچار شده بود درمان کرد و در آنجا به قزوین و از قزوین به همدان رفت و مدتی دراز در این شهر ماند و در همین شهر بود که استادم به وزارت شمسالدوله دیلمی فرمانروای همدان رسید. در همین اوقات استادم کتاب قانون را نوشت و تالیف کتاب عظیم شفا را به خواهش من آغاز کرد. چون شمس الدوله از جهان رفت و پسرش جانشین وی گردید استاد وزارت او را نپذیرفت و چندی بعد به او اتهام بستند که با فرمانروای اصفهان مکاتبه دارد و به همین دلیل به زندان گرفتار آمد 4 ماه در زندان بسر برد و در زندان 3 کتاب به رشته تحریر درآورد. پس از رهایی از زندان مدتی در همدان بود تا با جامه درویشان پنهانی از همدان بیرون رفت و به سوی اصفهان رهسپار گردید. من و برادرش و دو تن دیگر با وی همراه بودیم. پس از آنکه سختیهای بسیار کشیدیم به اصفهان در آمدیم. علاءالدوله فرمانروای اصفهان استادم را به گرمی پذیرفت و مقدم او را بسیار گرامی داشت و در سفر و حضر و به هنگام جنگ و صلح استاد را همراه و همنشین خود ساخت.