وظیفه فایل robots.txt محدود کردن دسترسی روبات‌های گوگل و سایر موتورهای جستجو به محتویات سایت شماست.
[align=center][تصویر: دیدن لینک ها برای شما امکان پذیر نیست. لطفا
ثبت نام کنید یا
وارد حساب خود شوید تا بتوانید لینک ها را ببینید.
]
وظیفه فایل robots.txt محدود کردن دسترسی روبات‌های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات‌ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه‌ای از وجود
فایل robots.txt بر روی آن و محدو
