فایل robots.txt

فایل robots.txt برای این ربات ها مشخص میکند که وارد چه بخش هایی شوند و به آنها دسترسی داشته باشند حتی قادر هستند که اجازه دسترسی به ربات های مختلف را مسدود کنند. مثلا میتوانید دسترسی ربات یاهو را به روی سایت خود مسدود کنید.

اگر شما فایل robots.txt را درون سایت خود قرار ندهید ربات ها به فرض اینکه اجازه دسترسی به تمام نقاط سایت را دارند وارد تمامی بخش های سایت میشوند و آنها را بررسی میکنند.
ربات موتورهای جستجو در ابتدا فایل robots.txt را مورد بررسی قرار میدهند و بر اساس دستورالعمل های آن وارد سایت شده و آن را بررسی میکنند. هر سایت میتواند فقط یک فایل robots.txt داشته باشد مگر اینکه از ساب دامین های مختلفی استفاده کند و باید برای هرکدام از ساب دامین ها یک فایل فایل robots.txt ایجاد کند.
زمانی که رباتی وارد یک سایت میشود ابتدا به دنبال فایل robots.txt میگردد، به این صورت عمل میکند که پس از نام سایت شما و قرار دادن یک اسلش نام robots.txt را قرار میدهد و به این صورت به فایل robots.txt دسترسی پیدا میکند.

ساخت فایل robots.txt

ساخت فایل robots.txt نیاز به نرم افزار پیچیده ای ندارد و شما به وسیله نرم افزار Notepad می توانید فایل خود را بسازید.
ساخت فایل robots.txt اصلا کار پیچیده ای نیست و نیاز به نرم افزار خاصی هم ندارد شما میتوانید با استفاده از Notepad هم اقدام به نوشتن کدهای دسترسی کنید. فایل robots.txt باید در Root سایت قرار بگیرد و بهتر است که با حروف کوچک تایپ شود.

چند مثال برای فایل robots.txt

شما می‌توانید دسترسی تمام ربات‌ها را به تمام بخش‌های سایت مسدود کنید
User-agent: *
Disallow: /
شما می‌توانید به تمام ربات‌ها اجازه دسترسی به تمام بخش‌های سایت را بدهید
User-agent : *
Disallow : 
شما می‌توانید فقط به یک ربات اجازه دسترسی بدهید

User-agent: Google
Disallow:
User-agent: *
Disallow: /
شما می‌توانید دسترسی فقط یکی از ربات‌ها را مسدود کنید
User-agent: BadBot
Disallow: /