SEO, оптимизация и продвижение

Файл robots.txt

Автор toshik

21.12.2007 г.

Вроде бы ничем не примечательный текстовый файл лежит себе в корневой директории и черт с ним, а нет! Правильное применение этого файлика даст вам некоторое преимущество перед вэб-мастерами, которые игнорируют использование этого файла.

Итак файл robots.txt дает определенные инструкции поисковым роботам перед тем как залезть на ваш сайт. Давайте разберемся с инструкциями, которые необходимо знать для правильного использования этого файла:

-файл robots.txt должен состоять исключительно из маленьких букв, то есть вариант RoBots.TXT не подойдет.

-данный файл это просто текстовый файл, который создается посредством обычного блокнота и имеет расширение .txt. Не стоит использовать Word или другие редакторы для создания файла.

-Каждая новая инструкция в файле начинается с новой строки:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /admin/

в первой строке мы укзаываем, что данная инструкция служит для всех поисковых роботов (*), затем запрещаем

просмотр директорий /cgi-bin/, /tmp/ и /admin/. Если у вас на сайте есть папка, допустим http://site.com/admin,

то не стоит прописывать для робота весь путь к папке, достаточно указать папку /admin/.

Чтобы запретить роботам доступ ко всему сайту используйте инструкцию:

User-agent: *

Disallow: /

Чтобы разрешить всем всё: