یک فایل متنی در پوشه هاست (سرور) وب سایت است که در ان مشخص می شود که کدام صفحات را موتور های جستجو بررسی نکنند .یعنی موتور های جستجو نتوانند صفحات را بررسی کنند و در فهرست خود بگنجانند.این فایل کاربرد های دیگری هم دارد که در این مقاله نیاز به معرفی آنها نیست.
https://varvy.com/robottxt.html
