گاهی ممکن است هنگام راه‌اندازی یک وب‌سایت متوجه شوید اکانت هاست شما با تحول چشمگیری در لود سرور مواجه است که این مسئله ممکن است منجر به کند شدن وب‌سایت یا به‌وجود آمدن ارورها و پیغام خطاهایی شود. در چنین مواقعی اولین کسی را که مقصر می‌شناسیم شرکت ارائه‌دهنده خدمات هاستینگ خواهد بود؛ اما بد نیست بدانیم دلیل اصلی به وجود آمدن این مسئله چیست.
در حقیقت، همیشه ترافیک بالای سرور چیز بدی نیست. بخصوص اگر منجر به بازدید از صفحات شما شده باشد که نشان می‌دهد از وب‌سایت شما بازدید شده است و به‌اصطلاح وب‌سایت شما وایرال شده است. یا شما یک محصول جدید معرفی کرده‌اید که افراد زیادی به آن توجه کرده و علاقه نشان داده‌اند؛ اما اگر این ترافیک بالا در اثر بازدید از صفحات وب نباشد چه؟ در این صورت این ترافیک مربوط به راه‌اندازی وب‌سایت می‌شود. ما به شما خواهیم گفت دلیل این مسئله چیست و چطور می‌توانید آن را برطرف کنید.
آیا می‌دانستید موتورهای جستجوگر همانند گوگل و بینگ پروسه‌های اتوماتیکی دارند که با نام‌های «اسپایدر» (Spider)، «کراولر یا خزنده» (Crawler) و «بات» (Bot) شناخته شده هستند که کار آن‌ها جمع‌آوری فهرست اطلاعات و موضوعات موجود در وب است؟
این اسپایدرها در طول روز هزاران بار در وب‌سایت‌های مختلف می‌خزند تا مطمئن شوند موتور جستجو همیشه از نظر محتوای جدید به‌روز است و می‌تواند بهترین نتایج را به نمایش بگذارد. این کار برای سایت‌هایی همانند CNN یا Fox News که می‌خواهند اخبار ویژه خود را خیلی با سرعت به روی وب نمایش بدهند بسیار مفید است؛ اما برای یک وب‌سایت کوچک که در روز یک یا دوبار به‌روز می‌شود حضور همیشگی این اسپایدرها ممکن است به‌دردنخور به نظر برسد؛ اما راهکارهایی وجود دارد که با توجه به اهداف و طبیعت وب‌سایتتان می‌توانید از آن‌ها استفاده کنید تا مشکلات پهنای باندی که در اثر حضور این خزنده‌ها به وجود می‌آید را برطرف کنید.
-
خودتان میزان خزیدن گوگل را به‌صورت دستی تنظیم کنید
گوگل به‌وسیله «گوگل بات» کل محتوای وب‌سایت شما را چک می‌کند؛ اما زمانی که آن‌ها الگوریتم‌های متعددی برای تعیین نرخ مطلوب برای خزیدن در سایت شما دارند، نمی‌توانند همیشه این کار را به‌درستی انجام دهند. اگر متوجه می‌شوید که سرور شما ترافیک بسیار زیادی از جانب خزنده‌های گوگل دریافت می‌کند، زمان آن رسیده که محدودیتی تعریف کنید. Google Webmaster Tools به شما این امکان را می‌دهد که نرخ حداکثری خزنده‌ها به روی وب‌سایتتان را تعیین کنید. دقت داشته باشید که این محدودیت تعریف شده فقط تا ۹۰ روز باقی می‌ماند، بنابراین اگر دیدید دوباره با همان مشکلات مواجه شدید باید این مراحل رو مجدداً تکرار کنید.
-
فایل txt را پیکربندی کنید
فایل robots.txt یک فایل راهنما است که اسپایدرها و بات‌ها پیش از خزیدن در وب‌سایت شما چک می‌کنند. شما می‌توانید فایل robots.txt را طوری پیکربندی کنید که یا تمام بات‌ها را از چک کردن هر چیزی به روی وب‌سایت شما منع کند، یا فقط آن‌ها را از قسمت‌های سرور حذف کند، یا به‌تمامی بات‌ها امکان دسترسی کامل به وب‌سایت را بدهد، یا دسترسی ربات‌های خاص را غیرفعال کند.
-
آدرس IP بازدیدکنندگان را چک کنید
در نهایت، ممکن است بات‌های بسیاری از سوی اسکمرها و اسپمرها به‌سوی وب‌سایت شما حمله‌ور شوند. حتی اگر شما یک وب‌سایت به‌خوبی پیکربندی شده با پلاگین‌هایی که از نظرات اسپم مراقبت می‌کند داشته باشید، این تعداد بازدید می‌تواند تأثیر جدی به روی لود سرور شما داشته باشد. اگر تعداد زیادی آدرس IP می‌بینید که از سوی نقاطی که به نظر منطقی نمی‌آید- مثلاً تعداد زیادی IP از سوی کشورهایی می‌بینید که هم‌زبان شما و سایتتان نیستد- ممکن است لازم باشد برخی از IP ها را بلاک کنید.
