Robots txt Google

В Инструментах Google для вебмастеров обновился сервис, позволяющий тестировать файлы robots.txt. Аналогичный инструмент есть у поисковой системы Яндекс, однако Гугл только недавно догнал российского поискового лидера в этом плане. Теперь этот файл можно редактировать в режиме онлайн и обнаруживать ошибки, которые не позволяют роботам Гугл правильно индексировать страницы вашего ресурса.

С помощью специальной формы, расположенной в обновлённом разделе для вебмастеров, можно проверить блокировку URL в файле robots txt, а также просматривать прошлые версии этого файла.

Изменения в Google Webmaster Tools

С сегодняшнего дня раздел «Заблокированные URL» отсутствует, вместо него появился тестер robots txt, располагающийся в разделе «Сканирование». Он позволяет выполнить проверку на наличие проблем с индексацией отдельной страницы или некоторой части сайта, вызванных неверно составленным текстовым файлом для поисковых систем.
noviy-servis-v-google-webmasters
В разделе «Индекс Google» посмотреть заблокированный URL можно уже давно. Для этого нужно открыть этот раздел и перейти в подраздел «Статус индексирования». Затем нажать на кнопку вверху страницы «Расширенные данные»:
status-indexirovaniya

Robots.txt в «Инструментах Гугл для вебмастеров»

Выглядит всё это дело следующим образом:
new-robots-txt
Изменения можно вносить прямо в форму, где отображается загруженное содержимое из этого файла — точно также можно делать и в Яндекс. Для сохранения изменений нужно будет просто скопировать новую изменённую версию файла Robots к себе на сервер.
Наличие ошибок и предупреждений можно посмотреть прямо в этом же окошке — внизу:
predupregdeniya-v-robots-txt
Доступ для определённых поисковых роботов можно проверить для каждого определённой ссылки сайта. Доступных роботов выбираем списком, а URL добавляем строками:
url-robots-txt
В дальнейшем, можно будет узнать, когда произошла блокировка индексации (допустим, в случае ошибки 500 для файла), а также просмотреть ранее загружаемые версии файла Роботс.

Ошибки в интерфейсе

Сервис только запустился и возможны некоторые ошибки в его работе. Было замечено, что в форме проверки конкретного URL-а не всегда отображается WWW, даже когда указано главное зеркало с WWW.

Вверху есть ссылка «Открыть robots.txt» — при загрузке возникает аналогичная проблема. Файл не загружается, если главное зеркало с тройным W перед доменом, так как открывается этот файл по ссылке без тройного W.

Проверяйте свои файлы, тестируйте сервис, всем удачи!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *