گشت و گذار در دهکده یی به وسعت جهان

در سال ۱۹۵۷ پس از آنکه شوروی سابق اولین ماهواره یا قمر مصنوعی زمین به نام اسپوتنیک (Sputnik) را به فضا پرتاب کرد، ایالات متحده هم بیکار ننشست و آژانس پروژه های تحقیقاتی پیشرفته (ARPA) را به عنوان بخشی از وزارت دفاع ایجاد کرد که هدف آن پیشگامی ایالات متحده در علم و تکنولوژی مورد استفاده در ارتش بود. یکی از وظایف این آژانس تحقیقاتی، تهیه برنامه یی برای ایالات متحده بود که پس از یک حمله اتمی، کنترلش را بر موشک ها و بمب افکن های خود حفظ کند. به این ترتیب شبکه آرپانت (ARPANET) که در حال حاضر به عنوان اینترنت شناخته می شود، به وجود آمد. اولین اتصالات آرپانت در سال ۱۹۶۹ ایجاد و در اکتبر ۱۹۷۲ این شبکه عمومی شد. (البته نه برای تمام کشورهای جهان). تقریباً بیست سال پس از پیدایش اینترنت به منظور ایجاد امکان تبادل عمومی اطلاعات بر پایه یک استاندارد فراگیر، وب جهانی (www) متولد شد. این شبکه به عنوان زیرساخت اینترنت مورد استفاده قرار گرفت.

براساس گفته، «تیم برنزلی» سازنده شبکه استاندارد وب، «اینترنت شبکه یی از شبکه ها بوده و اساساً از کامپیوترها و کابل ها ساخته شده است. وب یک فضای مجازی شامل اطلاعات است. در اینترنت کامپیوترها و در وب اسناد، صداها، تصاویر ویدئویی و اطلاعات را می یابید.» در اینترنت، اتصالات از طریق کابل های بین کامپیوترها و در وب، پیوندهای فرامتنی هستند.

وب به دلیل برنامه هایی که میان کامپیوترهای موجود در اینترنت ارتباط برقرار می کنند، وجود دارد. وب بدون اینترنت معنایی ندارد. از آنجا که مردم واقعاً به اطلاعات جدید علاقه مند هستند و در عین حال هم نمی خواهند مجبور باشند مطالبی در مورد کابل ها و شبکه ها بدانند، وب موجب شده است که اینترنت مفید واقع شود.

به دلیل اطلاعاتی که در کل جهان بین کامپیوترها به اشتراک گذاشته شده، به تدریج لازم بود تا این اطلاعات نظم پیدا کند. در همین راستا موتورهای جست وجوگر اینترنت به وجود آمدند.

اولین وسیله جست وجوگر در اینترنت، Archie نام داشت که در سال ۱۹۹۰ به وسیله آلن امتیج یکی از دانشجویان دانشگاه مک گیل در مونترال کانادا ایجاد شد. این برنامه با ایجاد یک پایگاه اطلاعاتی قابل جست وجو از اسامی فایل ها، فهرست فایل های موجود در سایت های FTP عمومی ناشناخته را در خود جای داده بود. بعد از آن جست وجوگری به نام گوفر در سال ۱۹۹۱ به وسیله «مارک مک کاهیل» در دانشگاه مینه سوتای ایالات متحده ساخته شد. در حالی که موتور جست وجوگر آرچی فایل های کامپیوتری را فهرست می کرد، روش کار گوفر این گونه بود که اسناد متنی را ایندکس گذاری می کرد. از آنجایی که اینها (متن های ایندکس گذاری شده) فایل های متنی بودند، اکثر سایت های گوفر پس از ایجاد شبکه جهانی وب، به وب سایت تبدیل شدند.

دو برنامه دیگر با نام های ورونیکا و جاگهید (Jughead) فایل های ذخیره شده در سیستم های ایندکس گذاری گوفر را جست وجو می کردند. برنامه ورونیکا جست وجو براساس کلمات کلیدی از اغلب عناوین منوها در تمام لیست های گوفر را فراهم کرد و برنامه جاگهید نیز برای دستیابی به اطلاعات منو از کامپیوترهای سرویس دهنده شبکه (سرور) نوع گوفر بود.

در سال ۱۹۹۳ یعنی دو سال بعد، یکی از دانشجویان دانشگاه MIT امریکا به نام «میتوگری» اولین روبات جست وجوگر اینترنتی به نام

world wide web wanderer را ساخت. این روبات در ابتدا برای شمارش وب سرورها به منظور اندازه گیری گستردگی وب به کار گرفته می شد. wanderer از سال ۱۹۹۳ تا ۱۹۹۵ به طور ماهانه ارتقا داده می شد و بعدها نیز با ایجاد اولین پایگاه اطلاعات وب سایت ها به نام وندیکس برای به دست آوردن آدرس ها استفاده می شد.

یک روبات جست وجوگر در واقع برنامه یی است که به طور اتوماتیک ساختار فرامتنی وب را با بازیابی یک سند یا تمام اسناد ارجاع داده شده در آن طی می کند. گاه به روبات های وب، سیاره های وب، وب خز یا عنکبوت گفته می شود. این اسامی تا حدی گمراه کننده هستند زیرا این گمان را به وجود می آورند که خود نرم افزار مانند یک ویروس در بین سایت ها حرکت می کند. در حالی که اصلاً این گونه نیست، بلکه یک روبات به سادگی سایت ها را با درخواست اسناد از آنها مشاهده می کند. در ابتدا روبات ها اندکی بحث برانگیز بودند، چرا که حجم زیادی از پهنای باند شبکه را اشغال می کردند و این مساله گاهی باعث از کار افتادن کامپیوترهای شبکه می شد.

در روبات های جدید تر تغییرات مهمی داده شد و در حال حاضر برای ساخت ایندکس های اغلب موتورهای جست وجوگر به کار می روند. به طور مثال جست وجوگر گوگل از بیش از ۱۵۰ هزار روبات جست وجوگر تشکیل شده است.

در سال ۱۹۹۳ مارتین کاستر برنامه الی وب ((Archie like indexing of the web= Aliweb را ساخت. برنامه الی وب این امکان را برای کاربران فراهم می کرد که صفحات شخصی خود را برای ایندکس گذاری ارائه دهند. براساس گفته مارتین کاستر، الی وب یک موتور جست وجوگر بر مبنای مجموعه های فوق العاده اطلاعات اتوماتیک برای وب بود. سرانجام هنگامی که به نظر رسید وب ممکن است سودآور باشد، سرمایه گذاران دست به کار شدند و موتورهای جست وجو به تجارت بزرگی تبدیل شدند. در همان سال ۱۹۹۳ شش نفر از دانشجویان دانشگاه استنفورد امریکا موتور جست وجوگر اکسایت (Excite) را عرضه کردند. این جست وجوگر از تحلیل آماری روابط کلمات برای کمک به روند جست وجو استفاده می کرد.

در طول مدت یک سال جست وجوگر اکسایت ثبت شد و در دسامبر ۱۹۹۵ به صورت آن لاین شروع به کار کرد و در حال حاضر هم بخشی از جست وجوگر ASK محسوب می شود. در سال ۱۹۹۴ جست وجوگر «Elnet Galaxy» به عنوان بخشی از کنسرسیوم تحقیقات MCC در دانشگاه تگزاس انتشار یافت و سرانجام هم از دانشگاه خریداری شد و پس از انتقال میان چند شرکت، اکنون خود یک شرکت کامپیوتری مستقل است. این موتور جست وجوگر به عنوان یک دایرکتوری علاوه بر ویژگی جست وجوی وب، حاوی ویژگی های جست وجوگر فروتل نت (موتورهای جست وجوگر سابق) نیز هست.

جری یانگ و دیوید فلو در سال ۱۹۹۴ جست وجوگر یاهو را تاسیس کردند. آنها کار را با لیست کردن وب سایت های محبوب خود شروع کردند. آنچه این موتور جست وجو را محبوب و متفاوت کرده بود، این بود که برای هر جست وجو علاوه بر آدرس آن، توضیح مختصری هم ارائه می شد. در طول یک سال بعد، موسسان یاهو توانستند دو برابر سرمایه اولیه خود را دریافت کرده و به یک غول اینترنتی تبدیل شوند.

در همان سال ۱۹۹۴ وب کرالر هم ارائه شد که اولین موتور جست وجوی کاملاً متنی در اینترنت بود. یعنی برای نخستین بار تمام متن هر صفحه از وب را برای جست وجو علامت گذاری می کرد.

لیکوس (Lycos) هم در سال ۱۹۹۴ با ویژگی های منحصر به فردی که از تطبیق پیشوند ها و نزدیکی کلمات استفاده می کرد، معرفی و ارائه شد و دو سال بعد به یک موتور جست وجوی بزرگ که بیش از ۶۰ میلیون سند را علامت گذاری می کرد، تبدیل شد و بزرگ ترین موتور جست وجوگر در زمان خود بود. میکوس مانند بسیاری از موتورهای جست وجوگر، در یک فضای دانشگاهی به وسیله دکتر مایکل مادلین در دانشگاه ملون ساخته شد. جست وجوگر اینفوسیک در سال ۱۹۹۵ آنلاین شد و در واقع قابلیت جدیدی هم به موتورهای جست وجوگر اینترنتی اضافه نکرد. این موتور جست وجوگر در حال حاضر به گروه اینترنت والت دیسنی تعلق دارد.

در همان سال ۱۹۹۵ آلتاویستا (Alta Vista) هم آغاز به کار کرد که اولین موتور جست وجو با ویژگی درخواست پرس وجو به زبان طبیعی تکنیک های پیشرفته جست وجو بود. همچنین این موتور جست وجو امکان جست وجوی مالتی مدیا برای پیدا کردن تصویر، موسیقی و ویدئو را فراهم می کند.

در سال ۱۹۹۶ در دانشگاه برکلی کالیفرنیا، برنامه inktomi شروع به کار کرد. در ژوئن سال ۱۹۹۹ inktomi یک موتور جست وجوی دایرکتوری دارای تکنولوژی «استنباط مفهوم» را معرفی کرد. طبق گفته این کمپانی فناوری استنباط مفهوم از تجزیه و تحلیل انسانی استفاده می کند و عادت های یکسانی را برای تحلیل کامپیوتری پیوندها، کاربردها و سایر الگوهای تشخیص سایت های محبوب تر و پرکارتر به کار می برد. جالب اینکه این جست وجوگر در سال ۲۰۰۳ به وسیله شرکت یاهو خریداری شد.

گوگل در سال ۱۹۹۷ در دانشگاه استنفورد به عنوان بخشی از یک پروژه تحقیقاتی به وسیله سرگئی برین ولری پیج ساخته شد. این موتور جست وجو با استفاده از پیوندهای درونی، سایت ها را رتبه بندی می کند و به جست وجوی آنها می پردازد. در سال ۱۹۹۸ جست وجوگر MSN از شرکت مایکروسافت شروع به کار کرد که البته همراه با ویندوز که سیستم عامل اصلی بود به کاربران معرفی شد. عرصه MSN با سیستم عامل ویندوز یکی از مهمترین دلایل موفقیت و پیشرفت این موتور جست وجوگر بود.

در همان سال ۱۹۹۸ جست وجوگر «Open Director» هم شروع به کار کرد که طبق گفته این سایت جست وجوگر یاد شده بزرگ ترین و کامل ترین دایرکتوری تنظیم شده به وسیله افراد در وب است که توسط انجمن جهانی ویرایشگران داوطلب متشکل از افراد علاقه مند به این تکنیک، ساخته شده و نگهداری می شود.

جست وجوگر فایرفاکس (FireFox) به معنای روباه آتشین هم سرانجام یکی از آخرین و جدیدترین جست وجوگرهای اینترنت است که ایجاد شده و با روشی ویژه به کمک کاربران آمده است. در مدت زمان کوتاهی که از عرضه فایرفاکس می گذرد، چنان جلب توجه کرده و پیشرفتی باورنکردنی داشته است که سال گذشته میلادی از طرف مجله معتبر پی سی ورد (PCWorld) به عنوان بهترین نرم افزار دنیای کامپیوتر معرفی شد و توانست مدعیان مطرحی همچون گوگل و یاهو را پشت سر گذارد.

این در حالی است که امروزه استفاده از موتورهای جست وجوگر در اینترنت برای اکثر افراد به ویژه در کشور ایالات متحده به یک عادت تبدیل شده است زیرا کشور امریکا بیشترین تعداد کاربر اینترنتی را در جهان دارد و استفاده از اینترنت بدون موتورهای جست وجوگر بی معنا است. این دستاورد برای تکنولوژی یی که عمر آن ۱۵ سال بیشتر نیست، بسیار مهم و حائز اهمیت بوده و اکنون روز به روز در حال گسترش و پیشرفت است.