Robots txt Google


В Инструментах Google для вебмастеров обновился сервис, позволяющий тестировать файлы robots.txt. Аналогичный инструмент есть у поисковой системы Яндекс, однако Гугл только недавно догнал российского поискового лидера в этом плане. Теперь этот файл можно редактировать в режиме онлайн и обнаруживать ошибки, которые не позволяют роботам Гугл правильно индексировать страницы вашего ресурса.

С помощью специальной формы, расположенной в обновлённом разделе для вебмастеров, можно проверить блокировку URL в файле robots txt, а также просматривать прошлые версии этого файла.

Изменения в Google Webmaster Tools

С сегодняшнего дня раздел «Заблокированные URL» отсутствует, вместо него появился тестер robots txt, располагающийся в разделе «Сканирование». Он позволяет выполнить проверку на наличие проблем с индексацией отдельной страницы или некоторой части сайта, вызванных неверно составленным текстовым файлом для поисковых систем.
noviy-servis-v-google-webmasters
В разделе «Индекс Google» посмотреть заблокированный URL можно уже давно. Для этого нужно открыть этот раздел и перейти в подраздел «Статус индексирования». Затем нажать на кнопку вверху страницы «Расширенные данные»:
status-indexirovaniya


Robots.txt в «Инструментах Гугл для вебмастеров»

Выглядит всё это дело следующим образом:
new-robots-txt
Изменения можно вносить прямо в форму, где отображается загруженное содержимое из этого файла — точно также можно делать и в Яндекс. Для сохранения изменений нужно будет просто скопировать новую изменённую версию файла Robots к себе на сервер.
Наличие ошибок и предупреждений можно посмотреть прямо в этом же окошке — внизу:
predupregdeniya-v-robots-txt
Доступ для определённых поисковых роботов можно проверить для каждого определённой ссылки сайта. Доступных роботов выбираем списком, а URL добавляем строками:
url-robots-txt
В дальнейшем, можно будет узнать, когда произошла блокировка индексации (допустим, в случае ошибки 500 для файла), а также просмотреть ранее загружаемые версии файла Роботс.

Ошибки в интерфейсе

Сервис только запустился и возможны некоторые ошибки в его работе. Было замечено, что в форме проверки конкретного URL-а не всегда отображается WWW, даже когда указано главное зеркало с WWW.

Вверху есть ссылка «Открыть robots.txt» — при загрузке возникает аналогичная проблема. Файл не загружается, если главное зеркало с тройным W перед доменом, так как открывается этот файл по ссылке без тройного W.

Проверяйте свои файлы, тестируйте сервис, всем удачи!

Оставить комментарий

Your email address will not be published. Required fields are marked *