از آثار مکتوب به‌جامانده چنین برمی‌آید که گویا نخستین رساله در حساب به معنی امروزی را محمد بن موسی الخوارزمی نوشته است. آوازهٔ وی چنان در اروپا پیچید که واژهٔ الگوریتم را (که از الخوارزمی گرفته شده است) بر روش‌های حل مساله در محاسبات عددی نهادند.
با پیشرفت رایانه‌ها نیاز به حل مسایل ریاضی به روش عددی بیش از پیش احساس شد. در این هنگام کارایی روش‌هایی که از قبل توسط نیوتون و اولر ارایه شده بود نمایان شد. ریاضی‌کارها و دانش‌گرهای دیگر نیز در این راه پا گذاشتند و روش‌هایی کاراتر ارایه دادند. به این ترتیب محاسبات عددی شکل نوین خود را یافت.
تعدادی از مسائل ریاضیات پیوسته دقیقا با یک الگوریتم حل می‌شوند که به روش‌های مستقیم حل مسئله معروف‌اند. برای مثال، روش حذف گوسی برای حل دستگاه معادلات خطی، و نیز روشسیمپلکس مورد استفاده در برنامه‌ریزی خطی را می‌توان ذکر نمود. در مقابل، برای بسیاری از مسائل روش حل مستقیم وجود ندارد و باید از روش‌های دیگری مانند روش تکرارشونده استفاده شود.
