Поисковые системы, когда они попадают на веб-сайт, начинают искать файл robots.txt, чтобы продолжить его чтение. Это будет зависеть от его содержания, так что паук поисковой системы продолжит работу внутри сайта или перейдет на другой.Файл robots.txt содержит список страниц, которые разрешено индексировать для поисковой системы, которая, в свою очередь, выборочно ограничивает доступ для определенных поисковых систем. 
С помощью этого файла вы можете запретить поисковым системам доступ к определенным страницам или каталогам, вы также можете заблокировать доступ к файлам или определенным утилитам.Еще одна функция - предотвратить индексирование дублированного контента, обнаруженного на сайте, чтобы не подвергаться штрафным санкциям.Также следует помнить о том, что некоторые роботы могут игнорировать инструкции, представленные в этом файле, и также должно быть ясно, что файл является общедоступным, потому что любой, кто пишет www.example.com/robots.txt, может иметь к нему доступ.Теперь вопрос может быть; Как создать файл robots.txt?На самом деле это довольно просто, так как это текстовый документ с именем «robots.txt», который затем загружается в корень домена страницы, именно там поисковые системы будут искать его для чтения.Базовый файл robots.txt может быть:Пользовательский агент: *Disallow: / private /Формируются инструкции, запрещающие доступ к каталогу, который будет «частным» для всех поисковых систем.Команда определяет, что она адресована всем роботам (User-agent: *), указывая, что каталог неавторизован (Disallow: / private /).Параметр, который используется для поисковой системы Google: Пользовательский агент: GooglebotКак упоминалось выше, его использование в SEO используется для ограничения доступа роботов к дублированному контенту.
СТАТЬИ