متخصصان جستجو ي وب ميگويند موتورهاي جستجو مثل گوگل و ياهو فقط 1 درصد(surface Web) از اطلاعات وب را براي جستجو اطلاعات اينترنت را مورد جستجو قرار ميدهند مابقي اطلاعات اينترنت را وب نامرئي يا deep Web ، Deepnet ، invisible Web ، dark Web ، hidden Web مي نامند. خوشبختانه براي جستجو قسمتهايي از وب پنهان ابزارها و موتور جستجوهاي متعددي ايجاد شده و در يافتن اطلاعات دلخواه كمك خوبي هستند. اين موتور جستجوها از الگوريتم هاي پيشرفته رنكينگ و language-analysis استفاده مي كنند كه اطلاعات مفيد و مرتبط را چكيده مي كنند.
در سال 2000 تخمين زده شد كه وب حاوي 7500 ترابايت اطلاعات است و حجم وب نامرئي 500 برابر وب قابل جستجو است
دليل اينكه اطلاعات وب نامرئي در موتورهاي جستجو معمولي ليست نمي شود اين است كه اين 1- اطلاعات در پايگاه هاي داده هستند و نه در صفحات ايستا يعني موتورهاي جستجو دسترسي مستقيم به آنها ندارند و نمي توانند فهرست كنند ، 2- صفحاتي كه در صفحات ديگر لينك نشده است (يا فقط لينكهاي جاوا اسكريپت به آنها اشاره دارند) ، 3- سايتهايي كه براي مشاهده محتوايشان نياز به عضو شدن وجود دارد و…
تصوير: نمونه هايي از سايتهايي وب نامرئي
Mike Bergman در مقايسه وب نامرئي و سرچ هاي معمولي گفته: امروز جستجوي اينترنت مانند دنبال كشيدن توري در سطح اقيانوس است ؛ اطلاعات خوبي به دست مي آيد ولي حجم عظيمي از اطلاعات كه در عمق قرار دارند از دست مي روند…
جستجو در وب نامرئي با جستجوهاي عادي متفاوت است به فكر راه هاي جديد جستجو باشيد ، به هر صورتي كه جستجو را انجام داده باشيد مطمئنا به همه اطلاعات وب دست نيافتيد با مطالعه وبلاگهاي مختلف + + + از روشها و ابزارهاي جستجو مطلع باشيد. يكي از روشهاي دستيابي به بانكهاي اطلاعاتي استفاده از كلمه database در جستجوهاي معمولي است
موتور جستجوهاي وب نامرئي:
پايگاه داده ها و موتور جستجوهايي كه در ادامه خواهيد ديد اطلاعات جستجو را از مكانهايي از اينترنت ليست مي كنند كه در جستجو هاي معمولي نمي بينيد
DeepDyve: يكي از جديدترين موتور جستجوها كه بر وب نامرئي تمركز كرده است
CloserLook Search: جستجوگري براي اطلاعات پزشكي ، سلامت ، داروها و…
CompletePlanet: بيش از هفت هزار ديتابيس و موتور جستجو در اين پايگاه در دسترس است و يكي از راه هاي عالي براي جستجوي وب نامرئي مي باشد
Daylife: جستجوي اخبار به همراه تصاوير ، مقالات و…
spock: جستجوي افراد در وب ؛ پيدا كردن پروفايلها و تصاوير مخفي دوستانتان
The WWW Virtual Library: يكي از قديمي ترين پايگاه اطلاعاتي وب كه با كلمات كليدي يا دسته بندي ها مي توانيد به اطلاعاتش دست يابيد
pipl: طراحي شده براي جستجو وب نامرئي ؛ نتايجي كه اين وب سايت در دسترس قرار مي دهد از نظر بعضي از كاربرانش خطرناك است (حريم شخصي)
CustomSearchEngine: ليستي از جستجوگرهاي سفارشي سازي شده گوگل
SurfWax: موتور جستجويي ساده و پر محتوا
Freebase: مجموعه اي از ميليونها بانك اطلاعاتي در موضوعات متنوع
RefSeek: موتور جستجويي براي دانش جويان و محققان ؛ بيشتر از يك ميليارد سند كه شامل صفحات وب ، مجلات ، روزنامه ها ، كتاب ها و دايره المعارف را جستجو مي كند
براي موتور جستجوهاي بيشتر اين مطلب رو بخوانيد
نظر فراموش نشه