Источник: Словарь афоризмов русских писателей. Составители: А. В. Королькова, А. Г. Ломов, А. Н. Тихонов
Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
Все значения словосочетания «поисковый робот»Облака тегов, как средства навигации, позволяют связать ресурсы веб-сайта более тесно, обход таких ресурсов поисковым роботом может улучшить позицию сайта в результатах выдачи поисковой системы.
Так, SEO – это больше технический инструментарий, который помогает поисковым роботам поднимать сайт в выдаче.
Она позволяет привести веб-ресурс в полное соответствие с актуальными стандартами работы поисковых роботов любых индексирующих его систем.