Robots.txt ( ربات دات تی ایکس تی ) چیست ؟
Robots.txt چیست؟ Robots.txt فایلی است که به عنکبوتهای موتورهای جستجو ( خزنده ها ) میگوید صفحات یا بخشهای خاصی از یک وبسایت را نخزند. اکثر موتورهای جستجوی اصلی (از جمله گوگل، بینگ و یاهو) درخواست های Robots.txt را می شناسند و به آنها احترام می گذارند. چرا Robots.txt مهم است؟ اکثر وب سایت ها به […]