فصل دوم:موتورهای جستجو چگونه کار می کنند?

موتورهای جستجو چگونه کار می کنند; خزنده ها، ایندکس کردن و رتبه بندی

 

 

همانطور که در فصل 1(سئو SEO چیست و چرا مهم است؟) اشاره کردیم، موتورهای جستجو ماشین های پاسخ دهنده وب هستد. آنها برای کشف، درک و سازماندهی محتوای اینترنت وجود دارند. تا بتوانند مرتبط ترین نتایج را به سوالاتی که کاربران می پرسند ارائه دهند.

برای اینکه در نتایج جستجو نشان داده شوید، ابتدا باید محتوای شما برای موتورهای جستجو قابل مشاهده باشد.مسلما مهمترین قسمت از معمای SEO همین است. چون اگر سایت شما پیدا نشود، هیچ راهی برای نمایش در SERP ها (صفحه نتایج موتور جستجو) وجود ندارد.

موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو از طریق سه عملکرد اصلی کار می کنند:

1- خزیدن : (Crawling)

اینترنت را برای محتوا جستجو می کنند. کد/ محتوای هر URL را که پیدا می کنند، بررسی می کنند.

2- ایندکس کردن: (indexing)

محتوای پیدا شده در طی مراحل را ذخیره و سازماندهی می کنند. هنگامی که یک صفحه در فهرست قرار گرفت، حالا در حال اجرا است و تا زمانی که کاربر جستجویی را انجام داد، مرتبط ترین پاسخ را نمایش دهد.

3- رتبه بندی:  (Ranking)

بخش هایی از محتوا را ارائه می دهد که به بهترین وجه به جستجوی کاربر پاسخ دهد. این بدان معناست که نتایج به ترتیب مهمترین تا کم ارتباط ترین مرتب می شوند.

خزیدن (Crawling) موتور جستجو چیست؟

خزیدن فرآیندی است که در آن موتورهای جستجو تیمی از ربات ها (معروف به خزنده یا عنکبوت) را برای یافتن محتوای جدید و به روز ارسال می کنند. محتوا می تواند متفاوت باشد. می تواند فیلم، pdf، عکس یا متن و غیره باشد. اما صرفنظر از قالب، محتوا توسط لینک ها پیدا می شود.

ربات گوگل Googlebot با واکشی چند صفحه شروع به کار می کند. سپس پیوندهای موجود در آن صفحات را برای یافتن URL جدید دنبال می کند. با جست و خیز در این مسیر از لینک ها، خزنده قادر است محتوای جدیدی پیدا کند و آن را به فهرست خود به نام کافئین- یک پایگاه داده گسترده از URL های کشف شده- اضافه کند. تا بعدا هنگامی که کاربر به دنبال یافتن اطلاعات محتوای موجود در آن URL است، بازیابی شود.

فهرست موتور جستجو چیست؟

موتورهای جستجو اطلاعاتی را که ایندکس پیدا می کنند پردازش و ذخیره می کند. یک پایگاه داده عظیم از تمام محتوایی که آنها کشف کرده اند و به نظر می رسد به اندازه کافی خوب است و می تواند در اختیار کاربران قرار گیرد.

رتبه بندی موتور جستجو

هنگامی که کسی جستجو را انجام می دهد، موتورهای جستجو فهرست آنها را برای محتوای بسیار مرتبط جستجو می کند. سپس به امید حل پرسش کاربر، آن محتوا را درخواست می کند. این ترتیب نتایج جستجو براساس ارتباط، رتبه بندی نامیده می شود. به طور کلی می توانید فرض کنید که هر چه یک وب سایت بالاتر رتبه بندی شود، موتور جستجو معتقد است که سایت درخواست بیشتری داشته است.

این امکان وجود دارد که خزنده های موتور جستجو را از بخشی یا کل سایت خود مسدود کنید (noindex). یا به موتورهای جستجو دستور دهید که از ذخیره برخی صفحات در فهرست خود جلوگیری کنند. اگر می خواهید محتوای شما توسط  کاربران دیده شود. پس مطمئن شوید که برای خزنده ها قابل دسترسی است و قابل فهرست (index) است.

در پایان این فصل به این نتیجه خواهید رسید که موافق و هم جهت با موتور جستجو عمل کنید نه مخالف آن.

در سئو، همه موتورهای جستجو برابر نیستند.

بسیاری از مبتدیان در مورد اهمیت نسبی موتور جستجوی خاص تعجب می کنند. اکثر مردم می دانند که گوگل بیشترین سهم بازار را دارد. اما بهینه سازی برای بینگ، یاهو و دیگران چقدر مهم است؟

حقیقت این است که علی رغم وجود بیش از 30 موتور جستجوی مهم وب، جامعه کاربران اینترنت واقعا فقط به گوگل توجه می کنند. چرا؟ پاسخ کوتاه این است که گوگل جایی است که اکثریت قریب به اتفاق افراد در وب جستجو می کنند. اگر ما تصاویر گوگل، گوگل مپ و یوتیوب را در نظر بگیریم بیش از 90 درصد جستجوی وب در گوگل اتفاق می افتد. این تقریبا 20 برابر Bing یا Yahoo درمجموع است.

پیمایش; خزیدن (Crawling): آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

همانطور که به تازگی آموخته اید، اطمینان از اینکه سایت شما پیمایش و ایندکس می شود، شرط لازم برای راه یافتن به SERP است. اگر از قبل وب سایتی دارید، بهتر است با دیدن تعداد صفحات خود در ایندکس شروع به کار کنید. این به شما کمک می کند که آیا گوگل در حال پیمایش و ایندکس سایت شما هست یا خیر.

یکی از راههای بررسی صفحات ایندکس شده سایت شما این است:

سایت گوگل را باز کنید. در نوار جستجو تایپ کنید: “site:yourdomain.com”. این نتیجه ای است که گوگل در ایندکس برای سایت شما دارد.

تعداد نتایجی که گوگل در بالا نمایش می دهد، ممکن است کاملا دقیق نباشد. اما به شما ایده خوبی می دهد که کدام صفحات در سایت شما ایندکس می شوند. و چگونه در حال حاضر در نتایج جستجو نشان داده می شوند.

برای دستیابی به نتایج دقیق تر، می توانید یک حساب گوگل کنسول ایجاد نمایید. با استفاده از این ابزار می توانید نقشه سایت را در گوگل کنسول ارسال نمایید و تعداد صفحات ارسالی و خیلی موارد دیگر را به فهرست گوگل اضافه کنید.

اگر در هیچ کجای نتایج جستجو نمایش داده نمی شوید. چند دلیل ممکن است وجود داشته باشد:

• سایت شما کاملا جدید است و هنوز مورد بررسی قرار نگرفته است.
• سایت شما از هیچ وب سایت خارجی لینک داده نشده است.
• مسیریابی سایت شما به گونه ای است که پیمایش را برای ربات خزنده سخت می کند.
• سایت شما حاوی برخی از کدهای اساسی به نام دستورالعمل های خزنده است که موتورهای جستجو را مسدود می کند.
• سایت شما توسط گوگل به دلیل روش های ناخواسته جریمه شده است.

به موتورهای جستجو بگویید که چگونه سایت شما را جستجو کنند. اگر از گوگل کنسول یا اپراتور “site:yourdomain.com” استفاده نمودید و متوجه شدید که برخی از صفحات مهم شما در فهرست موجود نیستند. یا برخی از صفحات غیر مهم شما به اشتباه ایندکس شده اند. بهینه سازی هایی وجود دارد که می توانید برای هدایت بهتر ربات گوگل، چگونگی پیمایش را به Googlebot بگویید. اینکه به موتورهای جستجو بگویید که چگونه سایت شما را پیمایش کند، نتیجه بهتری در مورد ایندکس خواهید داشت.

اکثر افراد به این فکر می کنند که چکاری انجام دهند تا گوگل بتواند صفحات آنها را پیدا کند. اما ممکن است فراموش کنید که صفحاتی هستند که اصلا مایل نیستید ربات گوگل آنها را پیدا کند. این موارد ممکن است شامل مواردی مانند URL های قدیمی باشد که دارای محتوای ضعیف، یا تکراری باشد.

برای هدایت ربات گوگل به برخی صفحات و بخش های خاص سایت خود، از robots.txt استفاده نمایید.

Robots.txt

فایل Robots.txt در دایرکتوری root وب سایت ها قرار دارند. (به عنوان مثال : yourdomail.com/robots.txt). در این فایل معین می کنید که کدام قسمت از موتورهای جستجو در سایت شما نباید پیمایش شود. همچنین سرعت پیمایش آنها بر روی سایت شما، از طریق دستورالعمل های خاص را مشخص می کنید.

نحوه برخورد ربات گوگل با فایل Robots.txt:

اگر ربات گوگل یک فایل robots.txt را برای سایتی پیدا کند. معمولا به پیشنهادات آن عمل می کند. و براساس آن به جستجوی سایت می پردازد.

اگر ربات گوگل هنگام تلاش برای دسترسی به فایل Robots.txt با خطایی روبرو شود و نتواند تشخیص دهد که اجازه ایندکس دارد یا خیر، سایت را جستجو نمی کند.

برای بودجه خزش بهینه سازی کنید!

بودجه خزش تعداد صفحاتی است که ربات گوگل در یک بازه زمانی مشخص پیمایش و ایندکس می کند. بنابراین بهینه سازی خزیدن خزنده اطمینان می دهد که ربات گوگل وقت خود را برای خزیدن در صفحات غیرمهم شما تلف نمی کند. و خطر نادیده گرفته شدن صفحات مهم شما را تهدید نمی کند.

بودجه خزیدن در سایت های بسیار بزرگ با دهها هزار آدرس اینترنتی از اهمیت بیشتری برخوردار است. فکر خوبی است که از دسترسی ربات خزنده به محتوایی که قطعا برای شما مهم نیست جلوگیری کنید. فقط مطمئن شوید که دسترسی خزنده به صفحاتی که سایر دستورالعمل ها را اضافه کرده اید مانند تگ های کنونیکال یا noindex مسدود نشده است. اگر ربات گوگل از یک صفحه مسدود شده باشد، نمی تواند دستوالعمل های آن صفحه را ببیند.

همه ربات های وب از robots.txt پیروی نمی کنند. افرادی که نیت بد دارند. ربات هایی را می سازند که از این پروتکل پیروی نمی کنند. در حقیقت برخی از هکران از فایل های robots.txt  متوجه می شوند که برای دست یافتن به محتوای خصوصی از کجا اقدام نمایند.

اگر چه مسدود کردن خزنده ها از صفحات خصوصی مانند صفحات ورود، منطقی به نظر می رسند. قرار دادن مکان آن URL در یک فایل robots.txt با دسترسی عمومی باعث می شود که هکر ها هم راحت تر آن را پیدا کنند. بهتر است این صفحات را Noindex قرار دهید و آنها را پشت فرم ورود قرار دهید. بجای اینکه آنها را در فایل robots.txt قرار دهید.

تعریف پارامترهای URL در گوگل سرچ کنسول

برخی از سایت ها (بیشتر فروشگاه ها) با با ضمیمه کردن پارامترهای خاص به URL ها، محتوای یکسانی را در چندین URL مختلف قرار می دهند. اگر تابحال به صورت آنلاین خرید کرده باشید، احتمالا جستجوی خود را از طریق فیلترها محدود کرده اید.

به عنوان مثال شما می خواهید از سایت دیجی کالا خریدی انجام دهید. ابتدا محصول را انتخاب می کنید. سپس جستجو را براساس اندازه، رنگ و سبک فیلتر می کنید. هر بار که فیلتر می کنید URL کمی تغییر می کند.

چگونه گوگل می داند که کدام نسخه از URL را برای جستجوگران ارائه دهد؟ گوگل کاملا به خوبی می تواند URL را مشخص کند. اما شما می توانید از ویژگی پارامتر در گوگل کنسول استفاده کنید تا به گوگل بگویید دقیقا چگونه می خواهید با صفحات شما رفتار کند.

آیا ربات خزنده می تواند همه مطالب مهم شما را پیدا کنند؟

اکنون که از برخی روش های دور نگهداشتن موتورهای جستجو از محتوای بی اهمیت خود مطلع شدید. بیایید در مورد بهینه سازیی که به ربات گوگل کمک می کند تا صفحات مهم شما را پیدا کند بیاموزید.

آیا محتوای شما در پشت فرم های ورود به سیستم پنهان است؟

اگر برای مشاهده محتوای سایت شما، لازم است که کاربران وارد سیستم شوند، فرم ها را پر کنند، یا به نظرسنجی ها پاسخ دهند. موتورهای جستجو آن صفحات محافظت شده را نمی بینند. بنابراین یک خزنده قطعا وارد سیستم نمی شود.

آیا به فرم های جستجو اعتماد می کنید؟

ربات ها نمی توانند از فرم های جستجو استفاده کنند. برخی از افراد بر این باورند که اگر کادر جستجو را در سایت خود قرار دهند، موتورهای جستجو می توانند هر آنچه بازدیدکنندگان جستجو می کنند را پیدا کنند.

آیا متن در محتوای غیرمتنی پنهان است؟

از فرم های رسانه ای غیرمتنی (تصاویر، ویدئو، GIF و غیره) برای نمایش متنی که می خواهید ایندکس شود استفاده نمی شود.

در حالی که موتورهای جستجو در شناخت تصاویر بهتر می شوند، هنوز تضمینی وجود ندارد که بتوانند آن را بخوانند و درک کنند. همیشه بهتر است متن را در تگ <HTML> سفحه وب خود اضافه کنید.

آیا موتورهای جستجو می توانند ناوبری سایت شما را دنبال کنند؟

همانطور که یک خزنده نیاز دارد سایت شما را از طریق لینک به سایت هاب دیگر کشف کند. به یک مسیر لینک در سایت شخصی شما نیاز دارد تا آن را از صفحه ای به صفحه دیگر هدایت کند. اگر صفحه ای دارید که می خواهید موتورهای جستجو آن را پیدا کنند، اما از صفحه دیگری به آن لینک داده نشده است، به همان اندازه نامرئی است.

بسیاری از سایت ها با ایجاد ساختار ناوبری خود به روشهایی که برای موتورهای جستجو غیر قابل دسترسی است، اشتباه می کنند و مانع از ثبت در نتایج جستجو می شوند.

 

اشتباهات معمول پیمایش که باعث می شود خزنده ها نتوانند همه سایت شما را ببینند:

• داشتن ناوبری تلفن همراه که نتایج متفاوتی از پیمایش دسک تاپ شما نشان می دهد.
• هر نوع پیمایش که موارد منو در HTML وجود ندارد. مانند پیمایش های جاوااسکریپت. گوگل در خزیدن و درک جاوااسکریپت بسیار بهتر شده است، اما هنوز روند کاملی ندارد. روش مطمئن تر برای اطمینان از یافتن، درک و ایندکس شدن چیزی توسط گوگل قرار دادن آن در HTML است.
• به نظر می رسد شخصی سازی یا نشان دادن پیمایش منحصر به فرد به نوع خاصی از بازدیدکننده در مقایسه با سایرین، در معرض خزنده موتور جستجو باشد.
• فراموش کردن لینک دادن به یک صفحه اصلی در وب سایت خود از طریق پیمایش- به یاد داشته باشید، لینک ها مسیری است که خزنده ها به صفحات جدید می روند.

به همین دلیل ضروری است که وب سایت شما باید دارای یک ناوبری واضح و ساختارهای مفید URL باشد.

آیا شما معماری اطلاعات شفافی دارید؟

معماری اطلاعات عبارت از شیوه سازماندهی و برچسب گذاری مطالب در وب سایت برای بهبود کارایی و قابلیت جستجو برای کاربران است. بهترین معماری اطلاعات بصری است، به این معنی که کاربران برای عبور از وب سایت شما یا یافتن چیزی نیازی به تفکر زیاد ندارند.

آیا از نقشه سایت استفاده می کنید؟

نقشه سایت دقیقا همان چیزی است که به نظر می رسد: لیستی از URL ها در سایت شما که خزنده ها می توانند با استفاده از آنها محتوای شما را کشف و فهرست کنند. یکی از ساده ترین راه ها برای اطمینان از گوگل یافتن صفحات دارای بالاترین اولویت شما ایجاد پرونده ای مطابق با استانداردهای گوگل و ارسال آن از طریق گوگل سرچ کنسول است. اگر چه ارسال نقشه سایت جایگزین نیاز به پیمایش سایت مناسب نمی شود. اما مطمئنا می تواند به خزنده ها کمک کند تا راهی به صفحات مهم شما پیدا کند.

اطمینان حاصل کنید که فقط URL هایی را که می خواهید توسط موتورهای جستجو پیمایش شود، قرار داده اید و حتما به خزنده ها دستورالعمل های مداوم دهید. به عنوان مثال، اگر این URL را از طریق robots.txt مسدود کرده اید. یک URL در نقشه سایت خود قرار ندهید یا در نقشه سایت خود قرار URL هایی را که تکراری هستند قرار ندهید( ما اطلاعات بیشتری را در مورد متعادل سازی لینک سازی در فصل 5 ارائه خواهیم داد.)

اگر سایت شما هیچ سایت دیگری به آن لینک ندارد. هنوز هم می توانید با ارسال نقشه سایت XML خود در گوگل سرچ کنسول ایندکس را انجام دهید. هیچ تضمینی وجود ندارد که آنها یک URL ارسال شده را در فهرست خود قرار دهند، اما ارزش امتحان کردن را دارد.

آیا خزنده ها هنگام تلاش برای دسترسی به URL های شما خطایی دارند؟

در مراحل خزیدن URL ها در سایت شما، یک خزنده ممکن است با خطا روبرو شود. برای شناسایی URL هایی که ممکن است روی آنها رخ دهد- می توانید به گزارش “خطاهای خزنده” کنسول جستجوی گول بروید- این گزارش خطاهای سرور را به شما نشان می دهد.

پرونده های ورود به سیستم سرور همچنین می تواند این مورد را به شما نشان دهد. همچنین گنجینه ای از اطلاعات دیگر مانند فرکانس خزیدن، اما از آنجا که دسترسی و تحلیل پرونده های ورود به سیستم سرور یک روش پیشرفته تر است. ما در راهنمای مبتدی به طور کامل در مورد آن بحث نخواهیم کرد.

قبل از اینکه بتوانید با گزارش خطای خزنده کار معناداری انجام دهید، درک خطاهای سرور و خطاهای “یافت نشد” مهم است.

خطای 4XX: یا خطاهای رده چهارصد، هنگامی که خزنده های موتور جستجو به دلیل خطای مشتری نمی توانند به محتوای شما دسترسی پیدا کنند.

خطاهای 4xx خطاهای سمت کلاینت هستند. به این معنی که URL درخواستی حاوی syntax نامناسبی است یا برآورده نمی شود. یکی از رایج ترین خطاهای 4xx خطای “404-not found” است. این موارد ممکن است بعنوان مثال به دلیل خطای تایپی URL، صفحه حذف شده یا ریدایرکت نادرست باشد.

وقتی موتورهای جستجو به 404 برخورد می کنند. نمی توانند URL درستی پیدا کنند. هنگامی که کاربران به 404 برخورد می کنند، ممکن است ناامید شوند و صفحه را ترک کنند.

خطای 5XX: یا خطاهای رده پانصد،وقتی خزنده های موتور جستجو به دلیل خطای سرور نمی توانند به محتوای شما دسترسی پیدا کنند.

خطاهای 5xx خطاهای سرور هستند، به این معنا که سروری که صفحه وب در آن قرار دارد نتوانسته است درخواست جستجوگر یا موتور جستجو برای دسترسی به صفحه را برآورده کند.

در گزارش “خطای خزش” کنسول جستجوی گوگل، زبانه ای به این خطاها اختصاص داده شده است. این موارد معمولا به این دلیل اتفاق می افتد که درخواست URL به پایان رسیده است. بنابراین ربات گوگل درخواست را رد کرده است.

خوشبختانه راهی وجود دارد که به جستجوگران و موتورهای جستجو می گوید که صفحه شما منتقل شده است. ریدایرکت 301 دائمی.

صفحه 404 سفارشی ایجاد کنید:

صفحه 404 خود را با افزودن لینک هایی به صفحات مهم سایت خود، ویژگی جستجوی سایت و حتی اطلاعات تماس، سفارشی کنید. با این کار احتمال اینکه بازدیدکنندگان با مواجه شدن با خطای 404 سایت شما را ترک کنند کمتر می شود.

 

 

کد وضعیت 301 به خودی خود به این معنی است که صفحه برای همیشه به مکان جدیدی منتقل شده است. بنابراین از ریدایرکت URL ها به صفحات بی ربط- URL هایی که محتوای قدیمی در آن وجود دارد- خودداری کنید.

اگر یک صفحه را برای ریدایرکت انتخاب می کنید بایستی محتوای صفحه دوم با اول هماهنگ و مربوط باشد. زیرا کدهای 301 بسیار قدرتمند هستند. با مسئولیت URL ها را ریدایرکت کنید.

همچنین شما می توانید با ریدایرکت 302 یک صفحه را منتقل کنید. اما این بایستی برای موارد موقتی باشد، تا گذشتن از ارزش لینک نگران کننده نباشد. 302 ها بنوعی مانند دورزدن در جاده هستند. شما بطور موقت از یک مسیر خاص عبور می کنید اما سرانجام به مقصد خواهید رسید.

مراقب زنجیره های تغییر مسیر باشید!

اگر ربات گوگل مجبور به انجام چندین تغییر مسیر باشد، دسترسی به صفحه دشوار است. گوگل این زنجیره را زنجیره تغییر مسیر می نامد. و توصیه می کند تا آنجا که ممکن است آنها را محدود کنید.

پس از اطمینان از بهینه بودن بودن سایت برای قابلیت خزیدن “Crawling” مرحله بعدی این است که بایستی مطمئن شوید که ایندکس می شوید.

ایندکس: موتورهای جستجو چگونه صفحات شما را تفسیر و ذخیره می کنند؟

فقط به این دلیل که سایت شما توسط یک موتور جستجو فابل کشف و خزیدن است، لزوما به معنای ذخیره شدن آن در فهرست آنها نیست. در بخش قبلی، خزیدن، ما در مورد چگونگی کشف موتورهای جستجو در صفحات وب بحث کردیم.

فهرست محلی است که صفحات کشف شده شما ذخیره می شود. پس از اینکه خزنده صفحه ای را پیدا کرد، موتور جستجو آن را دقیقا مانند یک مرورگر ارائه می دهد. در روند انجام این کار، موتور جستجو محتویات آن صفحه را تجزیه و تحلیل می کند. همه این اطلاعات در فهرست آن ذخیره می شود.

 

برای کسب اطلاعات در مورد نحوه کارکرد فهرست بندی و اینکه چگونه می توانید سایت خود را به این پایگاه داده مهم تبدیل کنید، ادامه مطلب را بخوانید.

آیا می توانم ببینم که یک خزنده ربات گوگل چگونه صفحات من را می بیند؟

بله، نسخه پنهان شده صفحه شما تصویری از آخرین باری که ربات گوگل آن را خزیده است منعکس می کند.

گوگل صفحات وب را با فرکانسهای مختلف خزیده و ذخیره می کند. سایت های معروف و شناخته شده ای مثل آپارات و دیجی کالا را به مراتب بیشتر از سایرین می خزد.

با کلیک روی پیکان کشویی کنار URL در SERP و انتخاب “Cached” می توانید شکل پنهان شده یک صفحه را ببینید.

 

همچنین می توانید نسخه فقط متنی سایت خود را مشاهده کنید تا ببینید آیا محتوای مهم شما به طور موثری خزیده و ذخیره می شود.

آیا صفحات از فهرست حذف می شوند؟

بله، صفحات را می توان از فهرست حذف کرد! برخی از دلایل اصلی حذف URL ممکن است شامل موارد زیر باشد:

• URL خطای “not-found” خطاهای 4xx یا 5xx را برمی گرداند. این می تواند تصادفی باشد( مثلا صفحه منتقل شده اما تغییر مسیر 301 تنظیم نشده است.) یا عمدا مثلا صفحات مربوط به خطای 404، که می توانید آن را از فهرست حذف کنید.
• URL دارای برچسب متنی noindex بوده است- این برچسب توسط مالکان سایت می تواند به موتور جستجو اضافه شود تا صفحه را از فهرست خود حذف کند.
• URL به دلیل نقض دستورالعملهای گوگل کنسول به صورت دستی جریمه شده و درنتیجه از فهرست حذف شده است.
• URL قبل از دسترسی بازدیدکنندگان به صفحه، بخاطر الزام پسورد مسدود شده است.

اگر فکر می کنید صفحه ای در وب سایت شما که قبلا در فهرست گوگل بود اما دیگر نمایش داده  نمی شود. می توانید از ابزار بازرسی URL برای یادگیری وضعیت صفحه استفاده کنید. که این کار را در گوگل کنسول خود براحتی می توانید انجام دهید.

به موتورهای جستجو بگویید که چگونه سایت شما را فهرست بندی کند؟

تگ های متا دستورالعمل هایی هستند که می توانند در مورد نحوه ایندکس صفحه وب خود به موتورهای جستجو ارائه دهید.

می توانید به خزنده های موتور جستجو مواردی مانند : “do not index this page in search results” یا “don’t pass any link equity to any on-page links” بدهید. این دستورالعمل ها از طریق Robots Meta Tags در تگ head صفحات HTML شما (که بیشتر مورد استفاده قرار می گیرد.) یا از طریق تگ X-Robots در هدر HTTP اجرا می شوند.