Google напоминает: наличие файла Sitemap не гарантирует попадания в индекс всех указанных URL

Как сообщает издание Search Engine Roundtable, пару дней назад представитель Google Гэри Илльес (Gary Illyes) еще раз напомнил вебмастерам о том, что наличие файла Sitemap не гарантирует попадания в индекс поисковой системы абсолютно всех URL-ов, указанных в нём.

Вопрос отраслевого специалиста, опубликованный в Группах Google, звучал так: «Я создал файл Sitemap и добавил в него 40 тыс. URL-ов страниц, однако на сегодняшний день из них проиндексировано всего 100. После этого я повторно сообщил Google о наличии файла Sitemap на моём сайте, решив, что поисковик проиндексирует больше страниц. Однако этого не случилось. Кто поможет мне разъяснить причины, из-за которых Google «отказывается» добавлять в индекс указанные страницы, при условии, что файл Sitemap составлен грамотно?»

«Прежде всего, обращаю ваше внимание на то, что наличие файла Sitemap не подразумевает того, что абсолютно все указанные в нём адреса страниц попадут в индекс Google. Вам следует расценивать файл Sitemap как дополнительный способ, позволяющий алгоритму сканирования Googlebot обнаружить ваш контент. Если URL-ы не будут добавлены в Sitemap краулерам потребуется больше времени на индексацию вашего сайта. Иными словами, без Sitemap сайт будет индексироваться еще дольше.

Еще один аспект, на который стоит обратить внимание: наши алгоритмы вполне могут «принять решение» не индексировать абсолютно все URL-ы вашего сайта, добавленные в файл Sitemap. И это повсеместная ситуация. Как правило, не индексируются страницы, содержащие малозначимый контент», - отвечает Гэри Илльес на вопрос пользователя.

В свою очередь напомним, что представители российского поисковика Яндекс на странице Помощи вебмастеру также сообщают: «Несмотря на то, что файлы Sitemap учитываются при обходе сайта, команда Яндекса не гарантирует того, что все URL, указанные в нём, будут добавлены в поисковый индекс Яндекса».

Также напомним, что в апреле 2013 года в API Яндекс.Вебмастера появилась возможность работы с файлами Sitemap, а также просмотра истории индексирования сайта.

Источник: Searchengines