چگونه می‌توان قابلیت ایندکس کردن وبسایت وردپرسی را توسط گوگل مسدود نمود؟
ایندکس کردن وبسایت توسط موتورهای جستجو مانند گوگل به معنی این است که صفحات وبسایت شما در نتایج جستجوی این موتورهای جستجو ظاهر شوند. گاهی اوقات ممکن است شما بخواهید برخی صفحات، بخش‌ها، یا حتی کل وبسایت خود را از دسترس موتورهای جستجو خارج کنید. این کار می‌تواند دلایل متعددی داشته باشد، از جمله:
محافظت از محتوای حساس
جلوگیری از ایندکس شدن صفحات آزمایشی
پیشگیری از جریمه‌های گوگل به دلیل محتوای تکراری یا نامناسب
مدیریت اولویت‌های سئو و بهبود عملکرد کلی وبسایت
در ادامه، به روش‌هایی که می‌توان با استفاده از آن‌ها قابلیت ایندکس کردن یک وبسایت وردپرسی توسط گوگل را مسدود کرد، پرداخته‌ایم.
1. تنظیمات پیش‌فرض وردپرس برای جلوگیری از ایندکس شدن سایت
وردپرس به صورت پیش‌فرض این امکان را به شما می‌دهد که ایندکس شدن سایت را مسدود کنید. برای انجام این کار:
1. به پیشخوان وردپرس خود وارد شوید.
2. به منوی تنظیمات و سپس خواندن بروید.
3. گزینه‌ای با عنوان «از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند» وجود دارد. این گزینه را فعال کنید.
4. تغییرات را ذخیره کنید.
نکته:
این تنظیم تنها یک درخواست به موتورهای جستجو است و ممکن است برخی موتورهای جستجو همچنان محتوای سایت شما را ایندکس کنند. برای مسدود کردن قطعی، نیاز به روش‌های دیگری است.
2. استفاده از فایل robots.txt
فایل robots.txt یک فایل متنی ساده است که در ریشه وبسایت قرار می‌گیرد و به موتورهای جستجو اطلاع می‌دهد که کدام بخش‌های سایت را ایندکس نکنند. برای ایجاد یا ویرایش این فایل:
1. به هاست یا سرور خود متصل شوید (از طریق مدیریت فایل یا FTP).
2. فایل robots.txt را باز کنید یا یک فایل جدید با همین نام ایجاد کنید.
3. برای مسدود کردن کل وبسایت، محتوای زیر را در فایل وارد کنید:
User-agent: *
Disallow: /
User-agent: * به این معنی است که این دستور برای همه موتورهای جستجو اعمال می‌شود.
Disallow: / به موتورهای جستجو می‌گوید که تمام بخش‌های سایت مسدود هستند.
4. برای مسدود کردن یک بخش خاص از سایت، مانند پوشه wp-admin، می‌توانید از دستور زیر استفاده کنید:
User-agent: *
Disallow: /wp-admin/
5. فایل را ذخیره کنید و در ریشه سایت قرار دهید.
3. استفاده از متاتگ noindex
با اضافه کردن متاتگ noindex به صفحات مورد نظر، می‌توانید از ایندکس شدن آن‌ها جلوگیری کنید. این متاتگ باید در بخش <head> هر صفحه قرار گیرد. به عنوان مثال:
<meta name="robots" content="noindex, nofollow">
noindex: موتور جستجو صفحه را ایندکس نمی‌کند.
nofollow: لینک‌های موجود در صفحه را دنبال نمی‌کند.
برای اعمال این متاتگ:
1. اگر از یک قالب وردپرسی استفاده می‌کنید، فایل‌های قالب (مانند header.php) را ویرایش کنید و این متاتگ را به صفحات مورد نظر اضافه کنید.
2. برای کنترل بیشتر، از افزونه‌هایی مانند Yoast SEO یا Rank Math استفاده کنید که این قابلیت را به صورت ساده‌تری ارائه می‌دهند.
4. استفاده از افزونه‌های وردپرسی
وردپرس افزونه‌های متعددی برای مدیریت ایندکس شدن صفحات ارائه می‌دهد. برخی از افزونه‌های پرکاربرد عبارت‌اند از:
Yoast SEO:
با نصب این افزونه، می‌توانید به راحتی تنظیم کنید که کدام صفحات یا پست‌ها ایندکس نشوند. کافی است به بخش تنظیمات هر صفحه یا پست بروید و گزینه «noindex» را فعال کنید.
Rank Math:
مشابه Yoast SEO، این افزونه نیز امکان مدیریت متاتگ‌های noindex و nofollow را به شما می‌دهد.
All in One SEO Pack:
یک افزونه دیگر که به شما اجازه می‌دهد ایندکس شدن صفحات خاص را کنترل کنید.
5. جلوگیری از دسترسی گوگل با استفاده از htaccess.
فایل .htaccess در وردپرس برای مدیریت بسیاری از تنظیمات سایت مورد استفاده قرار می‌گیرد. با افزودن کد زیر به این فایل، می‌توانید گوگل را از دسترسی به سایت یا بخش خاصی از آن منع کنید:
<Files "index.html">
Order Allow,Deny
Deny from all
</Files>
این روش معمولاً برای مسدود کردن کامل یک فایل یا پوشه خاص کاربرد دارد.
6. حذف URLهای ایندکس‌شده از گوگل
اگر صفحاتی از سایت شما قبلاً ایندکس شده‌اند و می‌خواهید آن‌ها را از نتایج جستجو حذف کنید، باید از ابزار Google Search Console استفاده کنید:
1. به حساب کاربری خود در Google Search Console وارد شوید.
2. به بخش Removals بروید.
3. گزینه «درخواست حذف موقت» را انتخاب کنید.
4. URLهای مورد نظر را وارد کنید و درخواست حذف را ارسال کنید.
نکات مهم
همیشه بررسی کنید که تنظیمات شما به درستی اعمال شده‌اند. می‌توانید از ابزارهای آنلاین مانند robots.txt Tester استفاده کنید.
برای اطمینان از ایندکس نشدن صفحات، URL آن‌ها را در گوگل جستجو کنید. اگر صفحه‌ای نمایش داده شد، تنظیمات خود را بررسی کنید.
فایل robots.txt و متاتگ‌ها تنها درخواست‌هایی به موتورهای جستجو هستند. موتورهای جستجوی متفرقه ممکن است این دستورات را نادیده بگیرند.
جمع‌بندی
مسدود کردن قابلیت ایندکس کردن وبسایت یا صفحات خاص در وردپرس امری ساده اما حساس است. با استفاده از روش‌های گفته‌شده، می‌توانید محتوای سایت خود را به خوبی مدیریت کنید و از ایندکس شدن بخش‌های غیرض
روری جلوگیری نمایید. توجه داشته باشید که هر روش مزایا و محدودیت‌های خاص خود را دارد، بنابراین بسته به نیاز خود، بهترین روش را انتخاب کنید.
