کاربرد فایل Robots.txt برای وبمسترها

[saberi]

وظیفه فایل robots.txt محدود کردن دسترسی روبات‌های گوگل و سایر موتورهای جستجو به محتویات سایت شماست.

فایل Robots.txt چیست؟
وظیفه فایل robots.txt محدود کردن دسترسی روبات‌های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات‌ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه‌ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن می‌شوند. تمامی روبات‌های استاندارد در اینترنت به این قوانین و محدودیت‌ها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روبات‌های اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روبات‌های اینترنتی دارید بهتر است از پسورد‌گذاری صفحات استفاده کنید.
در عمل استفاده از فایل robots.txt به شما این امکان را می‌دهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری، وجود لینک‌های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین به شما این امکان را می‌دهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات‌ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.
شما تنها زمانی‌که قصد محدود کردن روبات‌های گوگل را داشته باشید از فایل robots.txt استفاده می‌کنید و اگر از نظر شما تمام صفحات سایت قابلیت و ارزش ایندکس شدن توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت. حتی قرار دادن یک فایل خالی با همین نام نیز لزومی ندارد.
برای قرار دادن یک فایل robots.txt شما باید به هاست دسترسی داشته و آن را در ریشه اصلی کپی کنید. اگر به هر دلیل دسترسی شما به سرور محدود شده باشد می‌توانید با قرار دادن تگ‌های متا در هدر صفحه دسترسی روبات به آن را محدود کنید.
برای جلوگیری از ورود تمامی روبات‌های اینترنتی به صفحه از تگ:

meta name=”robots” content=”noindex” /

و برای محدود کردن روبات‌های گوگل از تگ:

meta name=”googlebot” content=”noindex” /

استفاده کنید. با مشاهده‌ی این تگ در هدر یک صفحه گوگل بطور کلی آن را از نتایج جستجوی خود خارج خواهد کرد.
آموزش ساخت فایل robots.txt
یک فایل ساده برای مدیریت روبات‌های اینترنتی از دو قانون اصلی استفاده می‌کند که عبارتند از:
User-agent: نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: بیانگر آدرس صفحه‌ای است که میخواهید از دید روبات ها پنهان بماند.
با ترکیب این دو دستور شما می‌توانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. به‌عنوان مثال برای یک user-agent مشخص می‌توان چندین آدرس را معرفی نمود و یا برعکس.
لیست تمامی روبات‌های اینترنتی معتبر در دیتابیس دیدن لینک ها برای شما امکان پذیر نیست. لطفا ثبت نام کنید یا وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
موجود است و شما می‌توانید با قرار دادن نام هریک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید و یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روبات‌ها اعمال کنید. مانند:

User-agent: *

Disallow: /folder1/

موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد که معروف‌ترین آنها با نام Googlebot شناخته می‌شود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد. روبات Gogglebot-image نیز مسئول بررسی تصاویر سایت‌ها و ایندکس کردن آنها است.

User-Agent: Googlebot

Disallow: /folder2/

شما می‌توانید به روش‌های مختلفی قوانین خود را اعمال کنید، می‌توان یک صفحه مشخص و یا یک دسته از صفحات را برای یک قانون تعریف نمود. مثال‌های زیر روش‌های مختلف استفاده از این قوانین هستند:
برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید

Disallow: /blog/

برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید

Disallow: /blog/keyword-planner/

برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

و برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

همچنین شما می‌توانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. قوانین اعمال شده برای روبات‌هایی هستند که از این پس به سایت شما وارد میشوند حذف صفحاتی که در گذشته ایندکس شده اند از دیتابیس گوگل نیازمند گذشت زمان خواهد بود.
آزمایش Robots.txt  در بخش Blocked URLs وبمستر
وبمستر گوگل قسمت مشخصی را برای نمایش صفحاتی از سایت شما که توسط robots.txt دسترسی روبات به آنها محدود شده، در نظر گرفته است. این صفحه با نام Blocked URLs و به‌عنوان زیر مجموعه‌ای از بخش Crawl تعریف شده است.
برای اطمینان از عملکرد صحیح فایل robots.txt به بخش Blocked URLs در اکانت وبمستر خود مراجعه کرده و مانند تصویر زیر در بخش اول محتویات فایل را کپی کنید. در بخش دوم آدرس صفحاتی که قصد دارید میزان محدودیت روبات‌های گوگل در دسترسی به آنها را بسنجید وارد کنید. (در هر خط یک آدرس)
در بخش انتهایی شما می‌توانید یک نوع از روبات‌های گوگل را علاوه بر روبات اصلی که وظیفه ایندکس صفحات را برعهده دارد انتخاب کنید.
با فشردن دکمه Test نتایج آزمون و میزان دسترسی روبات‌ها به هریک از این آدرس ها به شما نمایش داده خواهد شد.

نحوه انتخاب صفحاتی که در فایل robots.txt معرفی می‌شوند و پنهان کردن آنها از دید موتورهای جستجو وابستگی مستقیم با سیاست‌های شما در انتشار محتوا و سئو سایت خواهد داشت. قبل از انجام تغییرات اساسی در این فایل حتما با متخصصان سئو مشورت کرده و کدهای وارد شده را چندین بار آزمون و بازنویسی نمایید.