فایل robots.txt

فایل robots.txt

فایل robots.txt یکی از شاخص های مهم در سئو سایت است. موتورهای جستجو مثل گوگل از ربات هایی برای جستجو در صفحات وب استفاده میکنند. این ربات ها صفحات مورد نظر سایت را بررسی میکنند و اطلاعاتی که نیاز دارند را جمع آوری میکنند.


فایل robots.txt برای این ربات ها مشخص میکند که وارد چه بخش هایی شوند و به آنها دسترسی داشته باشند حتی قادر هستند که اجازه دسترسی به ربات های مختلف را مسدود کنند. مثلا میتوانید دسترسی ربات یاهو را به روی سایت خود مسدود کنید.

فایل robots.txt

اگر شما فایل robots.txt را درون سایت خود قرار ندهید ربات ها به فرض اینکه اجازه دسترسی به تمام نقاط سایت را دارند وارد تمامی بخش های سایت میشوند و آنها را بررسی میکنند.
ربات موتورهای جستجو در ابتدا فایل robots.txt را مورد بررسی قرار میدهند و بر اساس دستورالعمل های آن وارد سایت شده و آن را بررسی میکنند. هر سایت میتواند فقط یک فایل robots.txt داشته باشد مگر اینکه از ساب دامین های مختلفی استفاده کند و باید برای هرکدام از ساب دامین ها یک فایل فایل robots.txt ایجاد کند.
زمانی که رباتی وارد یک سایت میشود ابتدا به دنبال فایل robots.txt میگردد، به این صورت عمل میکند که پس از نام سایت شما و قرار دادن یک اسلش نام robots.txt را قرار میدهد و به این صورت به فایل robots.txt دسترسی پیدا میکند.

فایل robots.txt


ساخت فایل robots.txt


ساخت فایل robots.txt نیاز به نرم افزار پیچیده ای ندارد و شما به وسیله نرم افزار Notepad می توانید فایل خود را بسازید.
ساخت فایل robots.txt اصلا کار پیچیده ای نیست و نیاز به نرم افزار خاصی هم ندارد شما میتوانید با استفاده از Notepad هم اقدام به نوشتن کدهای دسترسی کنید. فایل robots.txt باید در Root سایت قرار بگیرد و بهتر است که با حروف کوچک تایپ شود.


چند مثال برای فایل robots.txt

شما می‌توانید دسترسی تمام ربات‌ها را به تمام بخش‌های سایت مسدود کنید
User-agent: *
Disallow: /
شما می‌توانید به تمام ربات‌ها اجازه دسترسی به تمام بخش‌های سایت را بدهید
User-agent : *
Disallow : 
شما می‌توانید فقط به یک ربات اجازه دسترسی بدهید

User-agent: Google
Disallow:
User-agent: *
Disallow: /
شما می‌توانید دسترسی فقط یکی از ربات‌ها را مسدود کنید
User-agent: BadBot
Disallow: /
خواندن 706 دفعه
برچسب‌ها
محتوای بیشتر در این بخش: « تگ متادسکریپشن

نظر دادن

فرم

تماس

آدرس: خیابان شهید دکتر بهشتی، خیابان پاکستان، کوچه حکیمی، پلاک 15، طبقه پنجم شرقی

ایمیل: info[at]mehrargham.com

تلفن: 2188530752 98+

فکس: 2188511721 98+

کدپستی: 1531745818

بالا