Googlebot - это робот, который позволяет вам отслеживать сеть Google, он также известен как паук Google. Таким образом, система обнаруживает новые страницы, которые были проиндексированы в ее базе данных, где они обновляются и включаются обратно в индекс Google.
Google использует большое количество компьютерного оборудования для отслеживания миллиардов страниц, распространяемых в Интернете. Он основан на алгоритмическом процессе отслеживания, при котором компьютерные программы определяют сайты, которые необходимо сканировать, а также частоту и количество страниц для поиска на каждом сайте. Процесс начинается со списка ранее созданных веб-страниц, который расширяется на основе данных, предоставленных картами сайта, которые включают веб-мастеров. Робот Googlebot обнаруживает ссылки при каждом посещении этих сайтов и добавляет их в список страниц, которые вы собираетесь отслеживать. Система обнаруживает новые сайты, изменения, внесенные в существующие и ссылки, которые устарели, а затем обновляет индекс Google.
Как робот Google получает доступ к сайту 
Робот Googlebot обычно не получает доступ к сайтам более одного раза и в течение нескольких секунд. Обычно система загружает одну копию каждой страницы, в случае, если вы загружаете одну и ту же страницу несколько раз, это, вероятно, связано с остановкой и перезапуском трекера.
Робот Googlebot будет распространяться на нескольких компьютерах, кроме того, некоторые пауки работают с компьютеров, которые расположены рядом с сайтами, которые они индексируют. Может случиться так, что записи страниц показывают визиты нескольких команд в качестве агента пользователя.
Цель состоит в том, чтобы отслеживать наибольшее количество страниц веб-сайта за каждый посещаемый вами визит, не снижая пропускную способность сервера.
Система находит сайты по ссылкам своих страниц. Если вы обнаружите ошибки отслеживания, их можно увидеть в Инструментах для веб-мастеров, предоставленных Google. Проблемы, обнаруженные при сканировании сайта, указаны там. Рекомендуется регулярно проверять ошибки отслеживания, которые могут возникнуть, чтобы выявить и исправить их.
Поскольку IP-адреса, используемые роботом Google, обычно меняются время от времени, в идеале рекомендуется использовать робота «пользователь-агент» (робот Google). Паук Google будет соблюдать правила, содержащиеся в файле robots.txt, однако некоторые злоумышленники могут их не соблюдать.
СТАТЬИ