Что такое robots txt?

Для чего используют robots txt

Robots txt – это название специального файла, расположенного в корневом каталоге веб-сайта. В нем указано, какие из данных должны подвергаться индексированию. Он также содержит директивы, с алгоритмом доступа к конкретным разделам. Специалисты называют его стандартом исключений. Правильный robots txt помогает настроить доступ отдельно для обычного компьютера и мобильного устройства.

Если речь идет о неграфических документах, например веб-страницах, он управляет сканированием. Он также может запретить сканировать похожие или ненужные категории, во избежание перегрузки сервера.

Как использовать файл robots txt

Файл robots txt не рекомендуют использовать, чтобы скрывать информацию от поиска Google. Это не даст результат, поскольку индексация произойдет за счет ссылок других адресов. Блокировку выдачи рекомендуется совершать с помощью тега noindex, установки пароля.

В работе с графическими документами этот метод  используется, чтобы скрывать картинки из результатов поиска. Чтобы посетители сайта видели изображения, откройте переход к ним с другой страницы. Файл умеет блокировать неважное изображение, скрипт, любой некритический ресурс сайта.

Настройка robots txt

Настройка этой команды – скорее указание, чем прямая команда. Его команды воспринимают многие, но не все известные системы поиска. Если вам действительно важно закрыть свои данные от поисковика, лучше воспользоваться защитой паролей на сервере.

К конкретному агенту обращение происходит с помощью директивы «User-agent». Используйте ее тогда, если разрешаете индексировать свой портал одному поисковику, но блокируете другой.  Если для «User-agent» вы укажете знак «*», робот не найдет нужных указаний себе и переключится на указания для «User-agent: *».

Подведем итоги

Еще одним эффективным способом запретить индексацию является meta robots.  Разница между ними заключается в том, что meta не способен обращаться к конкретным агентам. А robots txt, пример которого расположен на нашем сайте, может обращаться как к отдельным поисковикам, так и ко всем сразу.

Такой вариант открывает больше возможностей управления своим рейтингом в выдаче. Эти два способа можно комбинировать, обеспечивая двойную защиту. При этом не забывайте, что закрывать данные следует осторожно, поскольку это может привести к помехам анализа страницы Гуглом, Яндексом, другими востребованными системами.