ابزار Coverage در سرچ کنسول

در ادامه آموزش سرچ کنسول گوگل، در این مقاله به معرفی ابزار Coverage در سرچ کنسول خواهیم پرداخت. ابزاری که شما را در عیب یابی و رفع خطا های سایت یاری می کند.

در ادامه با ما همراه باشید تا آموزشی جامع در مورد بخش Coverage در گوگل وبمستر در اختیار شما قرار بگیرد. پیشنهاد می کنیم قبلا از شروع این آموزش از فیلم آموزشی نصب گوگل سرچ کنسول استفاده کنید.

معرفی ابزار Coverage

همانطور که در مقاله گوگل سرچ کنسول چیست گفته شد، ابزار coverage سرچ کنسول جدید در نوار ابزار index با دو ابزار Sitemap و Removals هم گروه است. این ابزار در گوگل سرچ کنسول قدیم با نام index status شناخته می شد.

این ابزار گزارشی کلی از صفحات ایندکس شده و نشده وب سایت مورد نظر به‌ همراه خطا ها و مشکلاتی که صفحات مختلف وجود دارد را در اختیار شما قرار می‌ دهد. این اطلاعات به شما کمک می‌ کند تا از وضعیت ایندکس صفحات وب سایت خود اطلاع داشته و در صورت نیاز برای حل آنها اقدام کنید.

اگر روی این گزینه کلیک کنید با شکل بالا روبرو خواهید شد. گزارشی از چهار مورد مهم:

• erro
• valid with warning
• valid
• excluded

هر کدام از این چهار قسمت گزارش‌ هایی مجزا به شما ارائه می‌ دهد که در ادامه آنها را توضیح خواهیم داد.

چرا گزارش Coverage گوگل سرچ کنسول مهم است ؟

همانطور که گفته شد، بخش Coverage گزارش صفحاتی را به شما نمایش می دهد که مشکل ایندکس شدن دارند، بنابراین این صفحات در نتایج جستجوی گوگل نماش داده نمی شوند یا نمایش آنها دچار مشکل است. در نهایت توان بالقوه شما برای جذب ترافیک بالا از بین می رود. و این امر در سئو شما بسیار مهم است.

اگر در مورد SEO اطلاعات زیادی ندارید، حتما مقاله سئو چیست و چه کاربردی را کامل مطالعه کنید.

Coverage error

باکس قرمز رنگ error لینک هایی از وب سایت شما را نمایش می دهند که هنوز ایندکس نشده اند. دلایل ایندکس نشدن می تواند متفاوت باشد، اما چیز که بسیار مهم است توجه درست به این بخش و حل این خطا ها است.

دوباره به تصویر بالا دقت کنید. همانطور که می بینید در این تصویر به ترتیب از بالا به پایین نوشته شده، error بعد عدد ۹ و بعد ۳ issue. این گزارش یعنی چه؟

معنی این گزارش این است که شما ۹ لینک دارای خطای عدم ایندکس دارید که حاصل از سه نوع خطا هستند.

اگر در مورد ایندکس شدن اطلاعی ندارید، می توانید مقاله index چیست را مطالعه کنید.

انواع خطا های بخش Coverage گوگل سرچ کنسول

خطا های بخش Coverage گوگل سرچ کنسول بر می گردد به ارور هایی که باعث عدم ایندکس صفحه می شوند. ارور هایی حاصل از خطاهای ۴xx خطا های ۵xx خطاهای مربوط به تگ index، خطا های مربوط به robots.txt و…. این خطا ها را می شود به شکل زیر دسته بندی کرد.

• Server error (5xx)
• Redirect error
• Submitted URL blocked by robots.txt
• Submitted URL marked ‘noindex’
• Submitted URL seems to be a Soft 404
• Submitted URL returns unauthorized request (401)
• Submitted URL not found (404)
• Submitted URL has crawl issue

Server error (5xx)

همانطور که در مقاله رفع خطای Server error (5xx) گفته شد، ارور های ۵xx به خطا سمت سرور اشاره دارد این ارور ها با عدد ۵ شروع شده و شامل موارد زیر است:

• ارور ۵۰۰ Internal Server
• ارور ۵۰۲ Bad Gateway
• ارور ۵۰۳ Service Unavailable
• ارور ۵۰۴ Gateway Timeout

برای رفع این نوع خطا ها باید از قسمت Details لینک های دارای خطا را شناسایی و در صورت نیاز برای رفع مشکل آنها اقدام کرد.

Redirect error

در اکثر مواقع این Redirect error موقت بوده و حل می شود، اما دلایلی کلی بوجود آمدن آن را می توان به شکل زیر دسته بندی کرد:

• همانطور که گفته شد، ممکن است این مورد موقت بوده و به خاطر مشکلات موقت هاست رخ داده باشد.
• ممکن است ریدایرکت شما طولانی بوده و زمان زیادی را طول کشیده.
• ممکن است ریدایرکت شما در یک لوپ و لحقه بی انتها قرار گرفته باشد.

برای درک مشکلات بالا، ابتدا مقاله ریدایرکت چیست را مطالعه کرده و سپس رفع خطای Redirect error در سرچ کنسول را بررسی نمایید. همچنین برای اطلاع بیشتر در مورد لینک هایی با این ارور از قسمت Details لینک های دارای خطا را شناسایی و در صورت نیاز برای رفع مشکل آنها اقدام کنید.

Submitted URL blocked by robots.txt

خطای Submitted URL blocked by robots.txt بیانگر این است که لینک های دارای خطا، به وسیله فایل robots.txt از خزش ربات های گوگل منع شده اند. برای درک درست این مشکل ابتدا مقاله robots.txt را مطالعه کرده و برای حل آن از مقاله رفع خطای Submitted URL blocked by robots.txt استفاده کنید.

همچنین می توانید از دیگر ابزار گوگل به نام robots testing tool برای تست فایل robots.txt استفاده کنید.

Submitted URL marked noindex

خطای Submitted URL marked noindex بیانگر این موضوع است که برخی صفحات شما دارای متاتگ noindex هستند آیا این صفحات برای شما مهم است یا خیر. اگر مهم هستند باید متاتگ noindex را بردارید.

خطای Submitted URL marked noindex به دو دلیل به وجود می آید. یکی اینکه لینک های دارای خطا توسط متاتگ robots از ایندکس شدن منع شده و در نتیجه در نتایج جستجوی گوگل نمایش داده نمی شوند.

از طرفی ممکن است شما با هدف قبلی و با استراتژی سئو بعضی لینک ها را noindex کرده‌ اید ( یعنی قصد ندارید گوگل آن را در نتایج نشان دهد) ولی آن آدرس در sitemap سایت شما قرار دارد. بنابراین باید سعی کنید آدرس های noindex شده را از سایت مپ سایت خود حذف نمایید.

مثلا صفحاتی مثل صفحه cart و صفحه checkout در ووکامرس از این دست صفحات هستند.

برای کسب اطلاعات بیشتر در این مورد مقاله رفع خطای Submitted URL marked noindex را مطالعه کنید.

Submitted URL seems to be a Soft 404

خطای Submitted URL seems to be a Soft 404 بیانگر این است که URL ای در وب سایت شما وجود دارد که به صفحه ای برمی گردد که به کاربر اعلام می کند این صفحه وجود ندارد.

در واقع صفحه ای در وب سایت شما وجود دارد که در بعضی مواقع به کاربران می گوید این صفحه موجود نیست و ایت در حالی است که به ربات های سرچ کننده العام می کند که این صفحه موجود هست.

برای اطلاع بیشتر و رفع این مشکل مقاله فع خطای Submitted URL seems to be a Soft 404 خوانده شود.

Submitted URL returns unauthorized request (401)

خطای Submitted URL returns unauthorized request (401) یعنی صفحه مورد نظر در سایت مپ شما قرار دارد. اما گوگل به دلیل ۴۰۱ HTTP response آن را مجاز به ایندکس نمی داند. این جور صفحات معمولا صفحات عمومی نیستید و برای ورود به آنها می بایست لاگین شد و از رمز و پسورد استفاده کرد. به همین دلیل ربات های گوگل نمی توانند آن را ایندکس کنند.

برای رفع این ارور کافی است صفحه مورد نظر را از سایت مپ پاک کنید.

Submitted URL not found (404)

خطای ۴۰۴ در واقع یک HTTP status code بوده و به این معنی است که صفحه ای که کاربر در جتسجوی آن است دیگر وجود نداشته و روی سرور شما نیست. در واقع ممکن است این صفحه کلا از وب سایت شما پاک شده باشد یا بدون هیچ گونه ریدایرکتی به آدرسی جدید منتقل شده باشد.

برای رفع این مشکل باید ببیند آیا به صفحه مورد نظر احتیاج دارید یا نه؟ آیا صفحه مورد نظر به آدرسی جدید انتقال پیدا کرده یا نه؟ اگر در هر دو سوال جواب شما بله است، باید عملیات ریدایرکتر را برای صفحات دارای خطای Submitted URL not found (404) انجام دهید.

Submitted URL has crawl issue

خطای Submitted URL has crawl issue نشان می دهد که شما URL ی را دز XML sitemap ثبت کرده اید که ربات گوگل هنگام خزش آن با مشکل روبرو شده. برای اطلاع بیشتر از نوع خطا می بایست ابزار URL inspection استفاده کنید.

برای کسب اطلاعات بیشتر، مقاله ابزار URL inspection چیست را مطالعه کنید.

VALIDAT FIX

بعد از بررسی ارور ها مختلف و حل آن ها به روش هایی که پیش تر ذکر شد، شما باید وارد قسمت Details شده و روی خطای مورد نظر کیک کنید. تا مانند شکل بالا صفحه یا صفحاتی که دارای ارور مورد نظر هستید به شما نمایش داده شوند.

اگر عملیات خاصی برای آن URL ها انجام داده اید کافی است از گزینه VALIDAT FIX استفاده کنید. بعد از کلیک این گزینه عبارت “see details” را مشاهده می‌ کنید که بیانگر پردازش و صحت سنجی گوگل برای رفع خطا است.

درصورتی که validation شما با موفقیت انجام نشود پیغام بالا را یعنی Validation failed را دریافت خواهید کرد. و اگر زمان اعتبارسنجی رفع خطاهای شما با موفقیت نزد گوگل به اتمام رسیده باشه، پیغام Validation passed می بینید.

TEST ROBOTS.TXT BLOKING

یکی دیگر از راه های کسب اطلاعات بیشتر و رفع خطا های coverage استفاده از گزینه TEST ROBOTS.TXT BLOKING است. برای استفاده از این گزینه با کلیک بر روی error ارور ها نمایش داده می شوند. سپس در قسمت Details روی خطای مورد نظر کلیک کنید تا لینک های دارای ارور مورد نظر نمایش داده شوند.

در صفحه باز شده در قسمت Examples روی هر لینکی کلیک کنید یک منو در سمت راست برای شما باز می شود که به شما امکان استفاده از دو ابزار TEST ROBOTS.TXT BLOKING و URL inspection را می دهد.

ابزار TEST ROBOTS.TXT BLOKING این امکان را برای شما فراهم می کند که بتواند از مسدود نبودن صفحه مورد نظر در فایل robots.txt اطلاع پیدا کنید.

با کلیک بر روی این گزینه اگر در صفحه جدید با پیغام ALLOWED سبز زنگ برخورد کردید بهبه این معنا است که ربات امکان دسترسی به صفحه مورد نظر را دارد و شما برای کسب اطلاعات بیشتر می توانید از گزینه inspect URL استفاده کنید.

خوب بعد از توضیح بخش Coverage error، نوبت به valid with warning می رسد.

valid with warning

خطای های valid with warning نشان گر ارور هایی از صفحات شما هستید که ایندکس شده اند اما دارای مشکلاتی برای خزش و ایندکس درست هستندو بهتر است هرچه سریع تر به آنها رسیدگی کنید.

این صفحات، صفحاتی هستند که در نتایج گوگل نمایش داده می شوند، ولی ممکن است شما به آنها احتیاجی نداشته باشید.

Indexed, though blocked by robots.txt

در این بخش ممکن است با خطای Indexed, though blocked by robots.txt روبرو شوید. این خطا یعنی صفحه شما قبلا ایندکس شده و این در حالی است که این صفحه توسط فایل robots.txt محدود شده است.

در این مورد اشاره به این نکته جالب است که گوگل به فایل robots.txt و محدودیت هایی که توسط آن برای صفحات ایجاد می شود، بسیار احترام می گذارد اما این لزوما باعث نمی شود که صفحه ای که توسط این فایل محدود شده، اما از سایر صفحات لینک دارد ایندکس نشود. در این حالت گوگل نمی خواهد درخواست خزش برای این صفحه بفرستد، اما می تواند به کمک لینک هایی که این صفحه در سایر صفحات دارد آن را ایندکس کند. اما برای همین صفحات حتی اگر ایندکس هم بشوند به خاطر قوانین مربوط به فایل robots.txt نمایش داده های snippet را محدود می کند.

برای کسب اطلاعات بیشتر در این مورد مقاله را رفع خطا های warning را مطالعه کنید.

Valid

این بخش شامل دو حالت خواهد بود:

• Submitted and indexed
• Indexed, not submitted in sitemap

جمله Submitted and indexed یعنی شما url را برای ایندکس ثبت کرده اید و ثبت شده است.

جمله Indexed, not submitted in sitemap یعنی صفحه مورد نظر توسط گوگل کشف و ایندکس شده است، اما در سایت مپ ثبت نشده است. در این حالت باتوجه به صفحه می توانید عملیات ثبت در sitemap را انجام دهید.

Excluded

صفحات موجود در این قسمت معمولا ایندکس نمی شوند و این کار از نظر گوگل هم مناسب است و خطایی بابت آن اعلام نمی کند. همچنین این بخش شامل صفحاتی است که به عنوان Duplicate یا محتوای تکراری نسبت به صفحات ایندکس شده شناخته شده و یا توسط سیستم سایت شما از ایندکس منع شده اند.

دلایل شدن Excluded صفحات

دلایلی که برای Excluded به شما نمایش داده خواهد شد:

• Excluded by ‘noindex’ tag
• Blocked by page removal tool
• Blocked by robots.txt
• Blocked due to unauthorized request (401)
• Crawled – currently not indexed
• Discovered – currently not indexed
• Alternate page with proper canonical tag
• Duplicate, Google chose different canonical than user
• Not found (404)
• Page with redirect
• Soft 404
• Duplicate, submitted URL not selected as canonical
• Blocked due to access forbidden (403)
• Blocked due to other 4xx issue

Excluded by ‘noindex’ tag

وضعیت Excluded by ‘noindex’ tag به شما می گوید که وقتی گوگل می خواهد صفحه مورد نظر را ایندکس کند با دستور العمل nonidex مواجه می شود. بنابراین صفحه مورد نظر را ایندکس نمی کند.

اگر شما مایلید که صفحه و صفحاتی با وضعیت Excluded by ‘noindex’ tag ایندکس نشوند که هیچ، اگر نه که باید دستورالعمل nonindex را از این صفحه بردارید.

Blocked by page removal tool

معنای Blocked by page removal tool این است که صفحات دارای این وضعیت مستقیما توسط بخش URL removal request حذف شده اند. برای کسب اطلاعات بیشتر در این مورد مقاله بخش Removals سرچ کنسول را مطالعه کنید.

Blocked by robots.txt

معنای Blocked by robots.txt این است که صفحه یا صفحات دارای این وضعیت توسط فایل robots.txt از ایندکس منع شده است. همانطور که پیش تر توضیح دادیم برای تست این موضوع می توانید از ابزار TEST ROBOTS.TXT BLOKING استفاده کنید.

البته ذکر این موضوع هم لازم است که وجود محدودیت از طریق فایل robots.txt باعث عدم ایندکس ۱۰۰ درصدی صفحه نمی شود. چرا که اگر آن صفحه در صفحات دیگر لینک یا رفرنس داشته باشد، گوگل آن را ایندکس خواهد کرد.

Blocked due to unauthorized request (401)

معنای Blocked due to unauthorized request (401) این است که ربات گوگل به دلیل درخواست ۴۰۱ از خزش و ایندکس بالاک شده. همانطور که پیش تر در این مورد صحبت کردیم. این ارور به خاطر صفحاتی به وجود می آید که عمومی نبوده و دارای لاگین هستید.

Crawled – currently not indexed

صفحات درارای این وضعیت توسط ربات گوگل مورد خزش قرار گردفته اند اما هنوز ایندکس نشده اند. این صفحات ممکن است در آینده ایندکس شده یا نشوند. در حالی فعلی نیازی نیست برای آنها اقدامی انجام شود.

Discovered – currently not indexed

صفخات دارای وضعیت Discovered – currently not indexed توسط گوگل کشف شده اند ولی هنوز خزش (Crawl) نشده اند. معمولا گوگل می بایست کار خزش را انجام داده باشد اما شاید به علت مدت زیاد بارگزاری صفحه زمان خزش را تغییر داده باشد.

Alternate page with proper canonical tag

وضعیت Alternate page with proper canonical tag صفحاتی را نشان می دهد که به عنوان محتوای تکراری یا همان Duplicate صفحاتی که گوگل کانونیکال درنظر گرفته مشخص شده اند. این صفحات مستقیما به صفحه کانونیکال اشاره دارند شما نیازی نسیت در مورد آنها کاری انجام دهید.

برای کسب اطلاعات بیشتر در این مورد مقاله کنونیکال چیست را مطالعه کنید.

Duplicate without user-selected canonical

این صفحات، تکراری یا همان Duplicate هستند، بدون اینکه تگ canonical داشته باشند. در این مورد خود گوگل تصمیم گرفته و اگر این صفحات را با URL inspection بررسی کنید، خواهید دید که در قسمت coverage نوشته شده Google-selected canonical URL.

برای این صفحات باید تگ کانونیکال تعریف کنید.

Duplicate, Google chose different canonical than user

در مورد این وضعیت باید گفت که Duplicate, Google chose different canonical than user صفحه ای را مشخص می کند که به عنوان محتوای کانونیکال مجموعه ای صفحات درنظر گرفته شده است. اما گوگل فکر می کند URL دیگر می تواند کانونیکال بهتری باشد. در این مورد نیز اگر این صفحات را با URL inspection بررسی کنید، خواهید دید که در قسمت coverage نوشته شده Google-selected canonical URL.

توجه داشته باشید که این صفحه بدون در خواست خزش (crawl request) ایندکس شده.

برای حل این مشکل نیز باید صفحه یا صفحات مورد نظر را به عنوان کانونیکال URL مورد نظر قرار داد

Not found (404)

این وضعیت، صفحاتی را نشان می دهد که خطای ۴۰۴ دارند. صفحاتی که به هر دلیلی در وب سایت ما وجود ندارند. نکته جالب در مورد صفحاتی با وضعیت Not found (404) این است که، این صفحات توسط خود گوگل کشف شده اند و با درخواست شما نبوده و در سایت مپ سایت شما نیز وجود ندارند.

این صفحات ممکن است به کمک لینک های موجود در صفحات سایت های دیگر کشف شده باشند یا ممکن است قبلا وجود داشته اند و بعدا حذف شده اند.

در مورد لینک های موجود در صفحات دیگر می توان به بک لینک هایی که قبلا گذاشته ایم با عملیات خرابکارنه رقبا فکر کرد. نگران نباشید خطای ۴۰۴ اگر عمدی باشد مشکل خاصی ایجاد نمی کند. و اگر صفحه از سایت ما پاک شده کافی است از ۳۰۱ redirect برای هدایت صفحات داری خطا با آدرس جدید استفاده کنید.

Page with redirect

یعنی صفحه ریدارکت شده و URL آن دیگر ایندکس نمی شود.

Soft 404

این وضعیت صفحاتی را نمایش می دهد که با کاربران اعلام می کنند که این URL دیگر موجود نیست در حالی که HTTP status code مربوط به این صفحه کد ۲۰۰ را بر می‌ گرداند.

به زبان ساده تر، شما در وب سایت صفحاتی دارید که به کاربر می‌ گویند این صفحه وجود ندارد اما همزمان به مرورگر می‌ گویند که این صفحه موجود است. این صفحات در اکثر مواقع صفحاتی هستند یا محتوای کمی دارند یا اصلا محتوایی داخل آن‌ ها وجود ندارد.

ذکر این نکته اینجا لازم است که، صفحاتی که محتوای کمی دارند به شدت برای ربات‌ های گوگل گیج کننده هستند. پس از ایجاد این صفحات خوداری کنید.

Duplicate, submitted URL not selected as canonical

صفحات با این وضعیت، صفحاتی هستند که توسط شما برای آنها درخواست مستقیم ایندکس صادر شده و از طرفی از نظر گوگل محتوای تکرار بوده، اما با تگ کانونیکال مشخص نشده اند و گوگل بجای این صفحه صفحه دیگری را کانونیکال بهتری می داند. در نتیجه این صفحه را ایندکس نمی کند.

تفاوت این وضعیت با وضعیت Google chose different canonical than user این است که در این حالت شما درخواست مستقیم ایندکس صادر کرده اید، اما در حالت Google chose different canonical than user خود گوگل URL را کشف کرده است.

Blocked due to access forbidden (403)

این وضعیت یعنی دسترسی به صفحه یا منبعی‌ که شما در تلاش برای رسیدن به آن هستید به دلایل مختلفی امکان‌ پذیر نیست حال ممکن است این موضوع به دلایل افزایش امنیت، تحریم‌ ها، خرید هاست با تنظیمات نامناسب و یا خطا های نرم افزاری و یا انسانی باشد.

در اکثر مواقع این خطا به علت درست تایپ نکرد آدرس به وجود می آید. برای کسب اطلاعات بیشتر در مورد این خطا، مقاله رفع خطای forbidden (403) را مطالعه کنید.

Blocked due to other 4xx issue

این وضعیت بعنی سرور با یک خطای ۴xx مواجه شد که توسط هیچ یک از مواردی که در بالا ذکر شد قابل توضیح نیست.

صفحه Details در بخش coverage سرچ کنسول

همانطور که در شکل بالا می بینید صفحه Details در بخش coverage سرچ کنسول به ۵ پخش تقسیم می شود.

• status
• type
• validation
• trend
• pages

status : در این قسمت یکی از ۴ وضعیت مربوط به گزارش های coverage یعنی error، warning، excluded و valid به نمایش گذاشته می شود.

type: در این بخش نیز شما با دلایل بروز هر یک از این وضعیت های بالا و انواع خطای هایی که پیش تر توضیح دادیم رو به رو خواهید شد.

validation: وضعیت اعتبار سنجی تغییرات اعمال شده توسط گوگل در این قسمت نشان داده می شود. بعد از آنکه شما مشکلاتی که به آنها اشاره شده است را رفع نمودید، می توانید با گزینه VALID که پیش تر توضیح داده شد، از گوگل بخواهید که وضعیت اعتبار سنجی تغییرات اعمال شده را بررسی و تایید کند. با این کار یکی از حالت های زیر برای شما اتفاق خواهد افتاد

• Not started
• Started
• Looking good
• Passed
• N/A
• Failed

trend: در این بخش روند تغییرات هر لینک به صورت یک نمودار نمایش داده می شود. بر همین اساس می توانید به خوبی میزان تغییرات و شدت آنها را بررسی نمایید.

page: در این قسمت تعداد صفحاتی که یکی از ارورهای مشخص شده را دارند، به شما نشان داده می شود. گاهی ممکن است تعداد صفحات دارای یک ارور صفر باشد اما گاهی نیز ممکن است در تعداد زیادی از صفحات این ارور مشترک باشد. مثل تصویر بالا.

سوالات متداول: