آموزش استفاده از ابزار Fetch as Google

ابزار Fetch as Google هدیه گوگل به صاحبان وب‌سایت‌ها است تا متوجه شوند که گوگل چگونه وب‌سایت آن‌ها را می‌بیند و احتمالاً چرا نمی‌تواند همه صفحات را مشاهده کند. اگر وب‌سایت شما رتبه پائینی در صفحه‌های نتایج جستجوی گوگل دارد، احتمالاً وب‌سایتتان با مشکل فنی مواجه شده است. گوگل برای اینکه به شما کمک کند، ابزار فچ را در اختیارتان قرار داده است تا صفحه‌های وب‌سایت خود را تست کنید و دریابید آیا گوگل می‌تواند در آن‌ها بخزد یا خیر.

در این مطلب به شما آموزش می‌دهیم که چگونه از ابزار فچ گوگل استفاده کنید.

Fetch as Google به شما امکان می‌دهد تا بررسی کنید که گوگل چگونه یک URL را روی وب‌سایت شما Crawl یا Render می‌کند. شما می‌توانید از Fetch as Google استفاده کنید و دریابید که آیا Googlebot می‌تواند به یک صفحه روی وب‌سایت شما دسترسی پیدا کند، چگونه صفحه را رندر می‌کند و آیا هیچ‌کدام از منابع صفحه (مانند عکس و اسکریپت) برای Googlebot بلاک شده‌اند یا خیر. ابزار Fetch as Google، خزیدن و رندر کردن را به همان صورت که در روند رایج خریدن و رندر کردن گوگل انجام می‌شود شبیه‌سازی می‌کند و برای عیب‌یابی مشکلات احتمالی در خزیدن روی وب‌سایت شما بسیار مفید است.

اجرای Fetch

۱. در جعبه متن با توجه به root وب‌سایت، آدرس URL از وب‌سایت خود را که می‌خواهید Googlebot در آن بخزد، وارد کنید. اگر جعبه متن را خالی بگذارید، ابزار در صفحه روت وب‌سایت می‌خزد.

برای مثال اگر آدرس فعلی http://example.com است و درخواست فچ این stores/indiana/١٢٣٤.html صفحه را دارید، ابزار Fetch as Google در صفحه http://example.com/stores/indiana/١٢٣٤.html خواهد خزید.

محدودیت‌های فچ

• URL‌های فچ شده به وب‌سایت فعلی محدود هستند. برای مثال:

اگر آدرس فعلی در کنسول جستجو http://example.com  است، شما نمی‌توانید یک URL از https://example.com یا http://m.example.com فچ کنید.

• فچ هیچ نوع کوکی، اطلاعات ورود به سیستم یا اطلاعات مهم دیگر وب‌سایت را ارسال نمی‌کند.
• فچ redirect را دنبال نمی‌کند. اگر شما صفحه‌ای با ارجاع مشخص را فچ کنید، باید آن آدرس را به‌صورت دستی دنبال کنید. (به شیوه‌ای که در پائین در بخش وضعیت فچ ارجاع شده، توضیح داده‌شده است)

۲. شما می‌توانید نوع Googlebot که می‌خواهید با آن فچ را به اجرا درآورید، انتخاب کنید. این انتخاب روی خزنده‌ای که فچ را انجام می‌دهد، تأثیر خواهد گذاشت و همچنین روی رندر کردن فچ و درخواست رندر هم تأثیر دارد. انواع زیر در دسترس هستند:

الف – دسکتاپ (نسخه رومیزی)

• برای وب‌سایت‌ها از Googlebot crawler استفاده می‌کند.
• برای اخبار از Googlebot crawler استفاده می‌کند (از Googlebot News استفاده نمی‌کند)
• برای عکس‌ها از Googlebot Images crawler استفاده می‌کند.
• برای ویدئوها از Googlebot Video crawler استفاده می‌کند.
• برای صفحه‌های وب با کد AdSense از Google AdSense crawler استفاده می‌کند.
• برای صفحه‌های فرود تبلیغاتی از Google AdsBot crawler استفاده می‌کند.

ب – گوشی‌های هوشمند

• گزینه فعلی: از نسخه به‌روز (که به‌زودی جایگزین خواهد شد) Google Smartphone crawler استفاده می‌کند.
• گزینه آینده: از آخرین نسخه Google Smartphone crawler استفاده می‌کند.

۳. گزینه Fetch یا Fetch and Render را انتخاب کنید.

• Fetch یک URL مشخص‌شده را در وب‌سایت شما فچ می‌کند و پاسخ HTTP را نشان می‌دهد. هیچ منبع وابسته‌ای از صفحه را اجرا یا درخواست نمی‌کند (مانند عکس یا اسکریپت). این گزینه یک عملیات تقریباً سریع است که شما می‌توانید برای یافتن مشکلات احتمالی ارتباط شبکه یا موارد امنیتی وب‌سایت خود از آن بهره بگیرید و موفقیت یا شکست درخواست را بررسی کنید.
• Fetch and Render یک URL مشخص‌شده را در وب‌سایت شما فچ می‌کند، پاسخ HTTP را نشان می‌دهد و همچنین صفحه را مطابق یک پلتفرم مشخص‌شده (دسکتاپ یا گوشی هوشمند) رندر می‌کند. این گزینه همه منابع روی صفحه را درخواست و اجرا می‌کند (مانند عکس و اسکریپت). از این گزینه استفاده کنید تا تفاوت‌های بصری را میان آن چیزی که Googlebot یا یک کاربر از صفحه شما می‌بیند، پیدا کنید.

۴. درخواست به جدول تاریخچه فچ با وضعیت «pending» اضافه خواهد شد. هنگامی‌که درخواست تکمیل شد، سطر مربوطه موفقیت یا شکست درخواست را به همراه برخی اطلاعات‌پایه نشان خواهد داد. روی هر سطر فچ غیر شکست‌خورده‌ای در جدول کلیک کنید تا جزییات بیشتری را شامل هدرها و داده‌ها در قالب پاسخ HTTP خام و همچنین (برای گزینه Fetch and Render) یک لیست از منابع بلاک شده و یک تصویر پیش‌نمایش از صفحه رندر شده در مورد آن درخواست مشاهده کنید.

۵. اگر درخواست موفقیت‌آمیز بوده و کمتر از ۴ ساعت از آن گذشته باشد، شما می‌توانید به گوگل بگوئید که دوباره در صفحه فچ شده بخزد و به‌احتمال‌زیاد آن را ایندکس کند. همچنین می‌توانید هر صفحه‌ای که صفحه فچ شده به آن لینک شده است را هم اضافه کنید.

شما در هرروز می‌توانید حداکثر ۱۰ فچ انجام دهید.

وضعیت درخواست فچ

جدول تاریخچه فچ در صفحه اصلی ۱۰۰ فچ آخر شما را نشان می‌دهد. برای بازدید جزییات یک فچ تکمیل‌شده روی سطر مربوط به آن فچ در جدول تاریخچه فچ‌ها کلیک کنید. وضعیت‌های زیر قابل‌نمایش هستند:

• تکمیل‌شده‌: گوگل به‌صورت موفقیت‌آمیزی با وب‌سایت شما تماس گرفته است و در صفحه‌های شما خزیده و همه منابع مرتبط به صفحه را اجرا کرده است. روی سطر جدول کلیک کنید تا جزییات بیشتری از نتیجه فچ به نمایش درآید.
• ناقص: گوگل پاسخی از وب‌سایت شما دریافت کرده است و URL را فچ کرده؛ اما نتوانسته است به همه منابع مرتبط به صفحه دسترسی پیدا کند زیرا آن‌ها احتمالاً با فایل‌های txt بلاک شده بودند. اگر این درخواست تنها فچ بوده است، گزینه Fetch and Render را اجرا کنید. صفحه رندر شده را بررسی کنید تا متوجه شوید کدام منبع مهمی بلاک شده و مانع گوگل برای تجزیه‌وتحلیل مناسب مفهوم صفحه شده است. اگر منابع مهمی بلاک شده بودند، آن‌ها را در فایل‌های robots.txt که در حال حاضر دارید، از بلاک خارج کنید. برای منابعی که توسط فایل‌های robots.txt بلاک شده‌اند که شما فایل‌های آن‌ها را ندارید، با صاحب وب‌سایت منبع تماس بگیرید و از او بخواهید تا منابع را برای Googlebot از بلاک خارج کنند.
• ارجاع یافته (Redirected): سرور با یک ارجاع پاسخ داده است. ابزار Fetch as Google هم ارجاع‌ها را دنبال نمی‌کند. درحالی‌که خزندگان واقعی گوگل ارجاع‌ها را دنبال می‌کنند، فچ این کار را نخواهد کرد. شما باید ارجاع‌ها را به‌صورت دستی دنبال کنید:
• اگر ارجاع به همان آدرس وب‌سایت شما است، ابزار Fetch as Google یک دکمه به شما نشان خواهد داد که اجازه می‌دهد تا ارجاع را سریعاً با پر کردن جعبه فچ با آدرس URL منتسب به ارجاع، دنبال کنید.
• اگر آدرس به وب‌سایت دیگری ارجاع داده می‌شود که شما مالکش هستید، می‌توانید روی «Follow» کلیک کنید تا به‌صورت خودکار جعبه URL را پرکنید؛ سپس آدرس URL را کپی کنید و به سایت جدید بروید و آن را در جعبه فچ کپی کنید.

شما می‌توانید پاسخ HTTP را در صفحه جزییات فچ بررسی کنید تا جزییات ارجاع را ببینید. کد HTTP پیغام خطا را پیدا کنید و آن را بررسی کنید. ارجاع‌ها می‌توانند توسط سرور یا تگ‌های متا و جاوا اسکریپت روی خود صفحه ‌ایجاد شوند.

• پیغام خطای مشخص: هر یک از پیغام‌های خطای فچ مربوط به نوع منبع می‌تواند شامل درخواست فچ برای کل صفحه هم بشود و در ستون وضعیت به نمایش درآید. برای مثال باید به پیغام خطای «پیدا نشد» یا «غیرقابل‌دسترس» اشاره‌کنیم.

پیغام خطای فچ منبع

اگر وضعیت درخواست فچ ناقص است، روی درخواست کلیک کنید تا صفحه این جزییات درخواست باز شود. جدول روی صفحه همه پیغام‌های خطای اتفاق افتاده را فهرست خواهد کرد. معمولاً پیغام‌های خطا به دلیل منابع بلاک شده روی صفحه به وجود می‌آیند که در قسمت بالا در مورد آن‌ها توضیح دادیم.