مهمترین دلایل جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو
در برخی از مواقع، صاحبان وبسایتها یا توسعهدهندگان تصمیم میگیرند که مانع ایندکس شدن سایت یا بخشهایی از آن توسط موتورهای جستجو شوند. این اقدام معمولاً به دلایل خاصی انجام میشود که موارد زیر مهمترین و اصلیترین آنها به شمار میآیند:
سایتهای ناتمام یا در حال توسعه
وبسایتهایی که هنوز در مراحل اولیه توسعه یا رفع اشکال هستند، نباید برای عموم قابل مشاهده باشند. در این مرحله، محتوای سایت ممکن است ناقص یا پر از خطا باشد و نمایش آن در نتایج جستجو میتواند به تصویر حرفهای سایت آسیب برساند. استفاده از محیطهای آزمایشی، مانند استیجینگ در وردپرس، میتواند راهکاری مناسب برای آزمایش سایت بدون نگرانی از ایندکس شدن باشد.همچنین اگر از محیطهای استیجینگ روی سرورهای اختصاصی یا مجازی استفاده میکنید، باید مطمئن شوید تنظیمات فنی بهدرستی انجام شده باشد؛ زیرا یک کانفیگ سرور اصولی میتواند از ایندکس شدن ناخواسته این محیطهای آزمایشی جلوگیری کند.
وبسایتهای محدود یا خصوصی
اگر قصد دارید وبسایتی با دسترسی محدود، مانند یک پلتفرم دعوتنامهای یا مختص اعضا راهاندازی کنید، ایندکس شدن آن در موتورهای جستجو میتواند تمام هدف محدودیت را زیر سؤال ببرد. چنین سایتهایی نیاز دارند که تنها برای افراد مشخصی قابل دسترسی باشند و در نتایج جستجو ظاهر نشوند.
وبسایتهای آزمایشی یا حسابهای تستی
معمولا توسعهدهندگان یا مدیران وب برای آزمایش و بررسی تغییرات یا ویژگیهای جدید، نسخهای کپی از سایت اصلی ایجاد میکنند. این وبسایتهای آزمایشی معمولاً حاوی اطلاعاتی هستند که برای عموم طراحی نشدهاند. ایندکس شدن این صفحات میتواند باعث سردرگمی کاربران و حتی مشکلاتی برای SEO سایت اصلی شود.
انواع روشهای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو
روشهای مختلفی برای محدود کردن دسترسی موتورهای جستجو وجود دارد که شما میتوانید بسته به نوع نیاز و هدف وبسایت، بهترین گزینه را انتخاب کنید. مواردی که در ادامه معرفی میکنیم، مهمترین روشهای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو هستند:
استفاده از فایل robots.txt برای جلوگیری از ایندکس شدن سایت در وردپرس
یکی از سادهترین و موثرترین روشها برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو در وردپرس، تنظیم فایل robots.txt است. این فایل به موتورهای جستجو اطلاع میدهد که کدام بخشهای سایت نباید کراول (بررسی) شوند. در وردپرس، این کار به دو روش قابل انجام است که در ادامه هریک از آنها را توضیح میدهیم.
استفاده از قابلیت داخلی وردپرس
وردپرس یک گزینه داخلی دارد که به شما امکان میدهد بدون نیاز به تغییرات دستی در فایلها، موتورهای جستجو را از ایندکس کردن سایت منصرف کنید. مراحل انجام این کار به شرح زیر است:
- وارد بخش مدیریت وردپرس شوید و به مسیر Settings → Reading بروید.
- در پایین صفحه، گزینهای با عنوان Search Engine Visibility مشاهده میکنید.
- تیک گزینه Discourage search engines from indexing this site را فعال کنید.
- در نهایت ذخیرهسازی تنظیمات را انجام دهید.
با این کار، وردپرس بهصورت خودکار ویرایش فایل robots.txt را برای شما انجام میدهد و موتورهای جستجو را از ایندکس کردن سایت منصرف میکند.
ویرایش دستی فایل robots.txt
برای کسانی که ترجیح میدهند کنترل بیشتری بر تنظیمات داشته باشند، ویرایش دستی فایل robots.txt گزینه مناسبی است. مراحل این روش عبارتاند از:
- به کنترل پنل هاست خود وارد شوید (مانند hPanel) و گزینه File Manager را پیدا کنید.
- به دایرکتوری اصلی وردپرس (معمولاً پوشه public_html) بروید و فایل robots.txt را پیدا کنید. اگر این فایل وجود ندارد، یک فایل جدید با همین نام ایجاد کنید.
- روی فایل راست کلیک کرده و گزینه Edit را انتخاب کنید.
- دستور زیر را در فایل وارد کنید:
User-agent: * Disallow: /
این کد به موتورهای جستجو میگوید که از ایندکس کردن کل سایت خودداری کنند. اگر میخواهید تنها یک صفحه خاص ایندکس نشود، آدرس آن صفحه را به جای (/) وارد کنید، به عنوان مثال:
Disallow: /blog/food-review-2019نکته حرفهای
در هنگام ویرایش فایل robots.txt، به حساسیت حروف (case sensitivity) دقت کنید. اشتباه در نگارش دستورات میتواند منجر به کراول شدن ناخواسته یا بروز خطا شود. بهطورکلی این روشها به شما امکان میدهند بهسادگی و با کنترل کامل، دسترسی موتورهای جستجو به سایت یا بخشهای خاصی از آن را مدیریت کنید.
محافظت از سایت وردپرس با پسورد برای جلوگیری از ایندکس شدن
یکی دیگر از روشهای مؤثر برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، محافظت از وردپرس با استفاده از رمز عبور است. موتورهای جستجو و رباتهای وب نمیتوانند به فایلهای محافظتشده با پسورد دسترسی پیدا کنند، بنابراین استفاده از این روش میتواند یک راهکار ساده و کارآمد برای محدود کردن دسترسی به سایت شما باشد. در اینجا چند روش برای محافظت از سایت وردپرس با پسورد آورده شده است:
استفاده از cPanel
یکی از روشهای موثر برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، ایجاد حفاظت رمز عبور برای کل سایت است. اگر هاست وردپرس شما امکان دسترسی به cPanel را فراهم میآورد، میتوانید با استفاده از این ابزار از سایت خود در برابر دسترسیهای غیرمجاز و ایندکس شدن توسط موتورهای جستجو محافظت کنید. در ادامه مراحل انجام این کار را بیان میکنیم:
- ورود به cPanel: ابتدا وارد داشبورد cPanel خود شوید. سپس از بخش “Files”، گزینه “Directory Privacy” را انتخاب کنید. این بخش به شما اجازه میدهد که از طریق تنظیمات مختلف، دسترسی به سایت را محدود کنید.
- انتخاب پوشه اصلی سایت: در مرحله بعد، باید پوشهای که وردپرس در آن نصب شده است را پیدا کنید. معمولاً این پوشه تحت عنوان “public_html” قرار دارد. اگر چندین سایت وردپرس در پوشه “public_html” دارید، روی این پوشه کلیک کنید تا بتوانید سایت مورد نظر را انتخاب کنید.
- فعالسازی حفاظت رمز عبور: در صفحه باز شده، گزینهای به نام “Password Protect this Directory” وجود دارد. برای فعالسازی حفاظت رمز عبور، کافیست این گزینه را علامت بزنید و سپس روی دکمه “Save” کلیک کنید. در این مرحله، سیستم از شما میخواهد که یک نام کاربری و رمز عبور تعیین کنید که برای دسترسی به سایت باید وارد شود.
- تأیید تغییرات و بازگشت به صفحه اصلی: بعد از تنظیم نام کاربری و رمز عبور، پیغامی به شما نشان داده خواهد شد که تایید میکند مجوزهای دسترسی دایرکتوری به درستی تغییر کرده است. پس از مشاهده این پیام، باید روی دکمه “Back” یا “بازگشت” کلیک کنید تا به صفحه قبلی منتقل شوید.
- ایجاد نام کاربری و رمز عبور: پس از فعال کردن حفاظت، شما باید یک نام کاربری و رمز عبور برای دسترسی به سایت تعیین کنید. فراموش نکنید که اطلاعات ورود خود را در جایی امن ذخیره کنید، چرا که برای هر بار دسترسی به سایت از طریق cPanel، به این اطلاعات نیاز خواهید داشت.
- حفظ امنیت سایت: بعد از ذخیره تنظیمات، هر زمان که یک کاربر یا موتور جستجو بخواهد به سایت شما دسترسی پیدا کند، از او خواسته میشود که اطلاعات ورود را وارد کند. این روش به طور مؤثر سایت شما را از دید موتورهای جستجو مخفی میکند و مانع از ایندکس شدن صفحات میشود.
استفاده از پلاگینهای وردپرس
علاوه بر روشهای دستی، استفاده از پلاگینها نیز یکی از راههای راحت و مؤثر برای محافظت از سایت به شمار میآید. پلاگین Password Protected یکی از پلاگینهای محبوب در این زمینه است که با نسخههای جدید وردپرس سازگار است و استفاده از آن پیچیدگی خاصی ندارد.
پس از نصب و فعالسازی پلاگین، به مسیر Settings → Password Protected بروید و تنظیمات پلاگین را طبق نیاز خود پیکربندی کنید.
نکته حرفهای
محافظت با پسورد یکی از امنترین روشها برای جلوگیری از ایندکس شدن سایت است، زیرا دسترسی به محتوای سایت را به حداقل میرساند و فقط کاربران مجاز قادر به مشاهده آن خواهند بود. این روش برای سایتهایی که در مراحل توسعه هستند یا برای پروژههای خصوصی بسیار مناسب است.
حذف صفحات ایندکسشده از گوگل
حذف صفحات ایندکسشده از گوگل، یک روش آسان و سریع برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو است. در واقع اگر سایت شما قبلاً توسط گوگل ایندکس شده است و حالا میخواهید آن را از نتایج جستجو حذف کنید، باید از ابزارهای گوگل استفاده کنید.
گوگل ابزارهایی دارد که به شما امکان میدهد بهراحتی صفحات ایندکسشده را از نتایج جستجو بردارید. در اینجا مراحل حذف صفحات از گوگل آمده است:
راهاندازی Google Search Console
اولین قدم این است که Google Search Console را برای سایت خود تنظیم کنید. این ابزار به شما امکان میدهد تا به طور کامل بر وضعیت ایندکس صفحات سایت خود نظارت داشته باشید.
دسترسی به ابزار Removals در Google Serch Console
پس از افزودن سایت خود به Google Searach Console، به بخش Legacy tools and reports بروید و گزینه Removals را پیدا کنید.
حذف موقت صفحه از نتایج جستجو
در بخش Removals، روی دکمه Temporarily hide کلیک کنید و URL صفحهای را که میخواهید از گوگل حذف شود، وارد کنید. در پنجره جدیدی که باز میشود، گزینه Clear URL from cache and temporarily remove from search را انتخاب کرده و سپس Submit Request را بزنید.
جلوگیری از ایندکس شدن مجدد
پس از انجام این مراحل، گوگل صفحه را به طور موقت از نتایج جستجو حذف میکند. البته برای جلوگیری از ایندکس شدن مجدد آن، باید از روشهای قبلی مانند ویرایش robots.txt یا محافظت با پسورد استفاده کنید.
استفاده از متا تگ “noindex”
بدون شک یکی از سادهترین و مؤثرترین روشها برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، استفاده از متا تگ “noindex” است. این تگ به موتورهای جستجو دستور میدهد که صفحهای را ایندکس نکنند و در نتیجه آن صفحه در نتایج جستجو ظاهر نخواهد شد.
نحوه اضافه کردن متا تگ “noindex”
برای افزودن این متا تگ به یک صفحه، کافی است کد زیر را در بخش <head> کد HTML صفحه قرار دهید:
- <meta name=”robots” content=”noindex”>
این کار باعث میشود که موتورهای جستجو از ایندکس کردن آن صفحه خودداری کنند. البته اگر از سیستمهای مدیریت محتوا (CMS) مانند وردپرس استفاده میکنید و دسترسی به کد منبع ندارید، میتوانید از پلاگینهایی مانند Yoast SEO برای افزودن این تگ استفاده کنید. این پلاگینها به شما امکان میدهند که بدون نیاز به دستکاری مستقیم کد، این تنظیمات را اعمال کنید.
افزودن “nofollow” به متا تگ
اگر قصد دارید علاوه بر جلوگیری از ایندکس شدن، لینکهای موجود در صفحه نیز توسط موتورهای جستجو دنبال نشوند (برای مثال، در صفحاتی مانند صفحات تأیید ثبتنام یا خرید که نمیخواهید لینکهای خاصی ایندکس شوند)، میتوانید به شکل زیر از ترکیب “noindex” و “nofollow” استفاده کنید.
- <meta name=”robots” content=”noindex, nofollow”>
این کار به موتور جستجو دستور میدهد که نه تنها صفحه را ایندکس نکند، بلکه لینکهای آن صفحه را نیز دنبال نکند.
استفاده از هدر HTTP X-Robots-Tag
برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، میتوانید از روش استفاده از هدر HTTP X-Robots-Tag هم استفاده کنید. این هدر مانند متا تگ “noindex” عمل میکند، با این تفاوت که به هدر پاسخ HTTP صفحه اضافه میشود. در واقع این روش معمولاً زمانی کاربرد دارد که بخواهید کنترل بیشتری روی نحوه ایندکس شدن صفحات سایت توسط موتورهای جستجو داشته باشید.
نحوه اضافه کردن X-Robots-Tag
برای اضافه کردن X-Robots-Tag به هدر HTTP، شما باید به فایلهای سرور خود دسترسی داشته باشید. همچنین بسته به مرورگری که استفاده میکنید، ممکن است استفاده از ابزارهای توسعهدهنده مانند ModHeader یا Modify Header Value در گوگل کروم ضروری باشد. این ابزارها به شما کمک میکنند که که هدرهای HTTP را به طور موقت یا دائمی تغییر دهید. در اینجا چند نمونه از نحوه استفاده از X-Robots-Tag آمده است:
- برای جلوگیری از ایندکس شدن یک صفحه توسط همه موتورهای جستجو: X-Robots-Tag: noindex
- برای گوگل که لینکها را دنبال نکند: X-Robots-Tag: googlebot: nofollow
- برای سایر رباتها که هم ایندکس نشوند و هم لینکها را دنبال نکنند: X-Robots-Tag: otherbot: noindex, nofollow
بهطورکلی این روش به شما کمک میکند که برای هر موتور جستجو، تنظیمات خاص خود را اعمال کنید. برای مثال، میتوانید از دستور “nofollow” برای رباتهای گوگل استفاده کنید، در حالی که رباتهای دیگر ممکن است صفحه را ایندکس نکنند و یا دنبال کردن لینکها را انجام ندهند.
جمعبندی
جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو به دلایل مختلفی انجام میشود، به همین دلیل باید با روشهای انجام آن آشنا شوید تا در مواقع ضروری بتوانید در کمترین زمان ممکن جلوی ایندکس شدن صفحات و یا بخشهای مختلف سایت را بگیرید.
روشهای مختلفی برای جلوگیری از ایندکس شدن سایت وجود دارد که هرکدام بسته به نیاز و شرایط شما قابل استفاده هستند. در این مطلب ابتدا شما را با دلایل مختلف جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو آشنا کردیم و سپس روشهای مختلف آن را به طور کامل توضیح دادیم. اگر همچنان درباره جلوگیری از ایندکس شدن سایت سوال خاصی دارید، از طریق بخش کامنتها با ما به اشتراک بگذارید.
سوالات متداول
- چرا باید از ایندکس شدن سایت خود جلوگیری کنم؟
جلوگیری از ایندکس شدن سایت میتواند در مواقعی که سایت شما در حال توسعه، آزمایش یا شامل اطلاعات حساس است، مفید باشد. این کار به جلوگیری از نمایش محتوای ناتمام یا خصوصی در نتایج جستجو کمک میکند و تجربه کاربری بهتری را فراهم میآورد.
- آیا میتوانم بعد از ایندکس شدن صفحات، آنها را از نتایج جستجو حذف کنم؟
بله، شما میتوانید از ابزار Google Search Console برای حذف موقت صفحات ایندکسشده استفاده کنید. این کار صفحات را از نتایج جستجو خارج میکند، اما برای جلوگیری از ایندکس شدن مجدد، باید روشهای دیگری مانند استفاده از “noindex” را اعمال کنید.
- آیا استفاده از پسورد برای حفاظت از سایت، مانع ایندکس شدن آن میشود؟
بله، موتورهای جستجو قادر به دسترسی به صفحات محافظتشده با پسورد نیستند. استفاده از این روش برای جلوگیری از ایندکس شدن سایتهای خصوصی و آزمایشی مؤثر است.
- چه زمانی باید از روش “noindex, nofollow” استفاده کنم؟
این روش زمانی مفید است که شما بخواهید نهتنها از ایندکس شدن صفحه جلوگیری کنید، بلکه مانع از پیگیری لینکهای موجود در آن صفحه شوید. این گزینه معمولاً در صفحاتی مانند صفحات تشکر یا تأیید خرید کاربرد دارد.
https://www.hostinger.com/tutorials/prevent-search-engines-from-indexing-wordpress
https://www.ilfusion.com/how-to-prevent-google-from-indexing-certain-web-pages