مقالات

راه ورود موتور جستجوگر به سايت شما چيست؟

اين راه چيزي جز يک پيوند ناقابل از سايتهاي ديگر نيست. اگر مي خواهيد موتور جستجوگر را به ميهماني سايتتان دعوت کنيد بايد راه را هم به وي نشان دهيد و وي آدرس سايت شما را بداند. موتور جستجوگر بهانه هاي بسياري براي نپذيرفتن اين دعوت دارد زيرا در همان لحظه به سايتهاي بسيار ديگري هم دعوت شده است! بنابراين بايد در آدرس دادن نهايت دقت را انجام دهيد. براي روشنتر شدن موضوع، چگونگي کارکرد موتور جستجوگر را با هم بررسي مي کنيم.

موتور جستجوگر چگونه کار مي کند؟

طرز کار موتور جستجوگر به طور خلاصه بدين گونه است که آن يک آدرس وب را مي يابد، آنرا دنبال مي کند و به صفحه اي مي رسد. محتواي آن صفحه را مي خواند و پارامترهاي آن را مشخص مي کند. به عنوان مثال تعداد کلمات متن آن صفحه، حجم و تاريخ به روز رساني آن، بعضي از پارامترهاي آن صفحه است. 

سپس پارامترهاي تعيين شده را به همراه آدرس آن صفحه به بايگاني موتور جستجوگر ارسال مي کند و اين اطلاعات در آنجا پس از فشرده سازي، ذخيره مي گردد.

حال اگر کاربري که دنبال چيزي مي گردد کلماتي را جستجو کند، موتور جستجوگر در پايگاه داده اي که تشکيل داده است ابتدا تمام صفحات مرتبط با موضوع جستجو شده را مي يابد و سپس مرتبط ترين را به عنوان اولين نتيجه جستجو و بقيه صفحات را بر اساس ميزان ارتباط بعد از آن در اختيار کاربر قرار مي دهد. به عبارت ديگر اگر تعداد نتايج جستجو 1000 مورد باشد، سايت رده اول مرتبط ترين و سايت رده 1000 کم ارتباط ترين سايت به موضوع جستجو شده مي باشد.
به آدرس دادن برگرديم. شما مي توانيد آدرس خود را روي تکه کاغذي مچاله شده به مهمان خود بدهيد و يا آنرا به شکلي بسيار با کلاس و خاطره انگيز تقديمش کنيد. حتما همه ما حالت دوم را ترجيح مي دهيم. 
پيوندي هم که شما با آن موتور جستجوگر را به پارتي سايتتان دعوت مي کنيد، بسيار مهم است: همواره پيوند به سايتتان را در سايت (صفحات) مهم ديگر قرار دهيد تا موتور جستجوگر نه يکبار که چندين بار به سايت شما از آن طريق مراجعه کند.

موتور جستجوگر، کافيست که آدرس سايت شما را ياد بگيرد. آنوقت مي توانيد مطمئن باشيد که هر ماه حداقل يکبار بدان مراجعه مي کند. اما اگر پيوندهاي سايتتان در سايتهاي معتبر و مهمي باشند آنوقت بيش از يکبار در ماه و حتي هر چند روز يکبار بدان مراجعه مي کند.

پيوند دادن و پيوند گرفتن امروزه مقوله اي بسيار جدي ميان مديران سايتهاست. شايد هر روزه ميليونها پست الکترونيک فقط براي اين موضوع ميان مديران سايتها رد و بدل مي شود. البته مديران سايتها نيز خسيس شده اند و به سادگي لينک نمي دهند. به سايت شما لينک نمي دهند تا زمانيکه به سايت آنها لينک ندهيد: به من لينک بده تا من به تو لينک بدهم!

شما هم بايد موضوع پيوندها را جدي بگيريد و تعداد پيوندهاي به سايتتان را افزايش دهيد. حالا که بحث به اينجا کشيده شده است، اجازه دهيد خود را ملزم به رعايت چند قانون ساده کنيم:
- در سايتتان حتما صفحه اي را براي لينک دادن به سايتهاي ديگر، اختصاص دهيد. 
- اگر سايتي محتواي مناسبي دارد ، حتما به آن لينک بدهيد حتي اگر از شما درخواست هم نکرده باشد. با اينکار شما به طبيعت اينترنت احترام مي گذاريد و همچنين منابع مفيد را به کاربران سايتتان معرفي مي نماييد.
- از سايتهايي لينک بگيريد که به محتواي سايتتان ارتباط دارند. 
- لينکها را تنها براي صفحه اول سايتتان درخواست نکنيد.
- براي لينک گرفتن از سايتهاي با ارزش، وقت صرف کنيد.

اما چرا پيوندها مهم هستند؟

اسپایدر یا روبوت (Robot)، نرم افزاری است كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیه كار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند، اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهای HTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن این كدها را index.html صفحه ای است كه كاربران آنرا می بینند.

اما یک اسپایدر آنرا چگونه می بیند؟
برای این كه شما هم بتوانید دنیای وب را از دیدگاه یك اسپایدر ببینید، كافی است كه كدهای HTML صفحات را مشاهده کنید. برای این كار در مرورگر مورد استفاده خود، مسیر زیر را دنبال کنید :

Source <-----View 

آیا این دنیای متنی برای شما جذاب است؟ 

اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است. 

اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند!

ب- Crawler (خزنده)

كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.

کراولر، ممكن است قبلا” برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند.

ج- Indexer (بایگانی كننده)

تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند، کلمات چندبار تكرار شده اند، كلمات در كجای صفحه قرار دارند و … .

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و … . از این گونه كلمات هستند.

د - DataBase ( پایگاه داده )

در این مرحله از کار موتور جستجو تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند. یك موتور جستجو گر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجو گر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده اس

و- Ranker (سیستم رتبه بندی)

بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد. اگر علاقمند بودید در خود سایت میکرورایانه هم چندین مقاله در زمینه موتور جستجو هست که می توانید آنها را هم مطالعه کنید.
حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد. 
حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كه موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد:

* کراولر
* بایگانی
* سیستم رتبه بندی