Robots.txt – это общепринятый стандарт общения между авторами документов и программами.
Именно с помощью этого файла мы можем общаться с поисковым роботом. Давать ему «подсказки», «советы», вообще полностью им управлять и командовать.
Основные свойства файла robots.txt заключаются в следующем:
- Файл robots.txt размещается только в корневой директории и больше нигде. Если файл будет лежать в другом месте, поисковый робот его попросту не найдет.
- Имя файла robots.txt должно быть написано только в нижнем регистре.
- Файл robots.txt должен быть составлен минимум из одного общего блока с двумя стандартными инструкциями: User-agent: и Disallow:.
- В файле robots.txt нельзя использовать регулярные выражения, знак «*» употребляется в инструкции User-agent для значения «все роботы».
- В файле robots.txt можно употреблять комментарии «#»
- Инструкции для различных User-agent обязательно должны быть разделены пустой строкой.
Также, существует такая инструкция как Allow, которая нарушает все стандартны файла robots.txt, но поддерживается всеми ведущими поисковыми системами.
Поисковая система Яндекс может читать директиву Host, в которой нужно указывать главный домен при склейке сайтов.