Содержание
В Инструментах Google для вебмастеров обновился сервис, позволяющий тестировать файлы robots.txt. Аналогичный инструмент есть у поисковой системы Яндекс, однако Гугл только недавно догнал российского поискового лидера в этом плане. Теперь этот файл можно редактировать в режиме онлайн и обнаруживать ошибки, которые не позволяют роботам Гугл правильно индексировать страницы вашего ресурса.
С помощью специальной формы, расположенной в обновлённом разделе для вебмастеров, можно проверить блокировку URL в файле robots txt, а также просматривать прошлые версии этого файла.
Изменения в Google Webmaster Tools
С сегодняшнего дня раздел «Заблокированные URL» отсутствует, вместо него появился тестер robots txt, располагающийся в разделе «Сканирование». Он позволяет выполнить проверку на наличие проблем с индексацией отдельной страницы или некоторой части сайта, вызванных неверно составленным текстовым файлом для поисковых систем.
В разделе «Индекс Google» посмотреть заблокированный URL можно уже давно. Для этого нужно открыть этот раздел и перейти в подраздел «Статус индексирования». Затем нажать на кнопку вверху страницы «Расширенные данные»:
Robots.txt в «Инструментах Гугл для вебмастеров»
Выглядит всё это дело следующим образом:
Изменения можно вносить прямо в форму, где отображается загруженное содержимое из этого файла — точно также можно делать и в Яндекс. Для сохранения изменений нужно будет просто скопировать новую изменённую версию файла Robots к себе на сервер.
Наличие ошибок и предупреждений можно посмотреть прямо в этом же окошке — внизу:
Доступ для определённых поисковых роботов можно проверить для каждого определённой ссылки сайта. Доступных роботов выбираем списком, а URL добавляем строками:
В дальнейшем, можно будет узнать, когда произошла блокировка индексации (допустим, в случае ошибки 500 для файла), а также просмотреть ранее загружаемые версии файла Роботс.
Ошибки в интерфейсе
Сервис только запустился и возможны некоторые ошибки в его работе. Было замечено, что в форме проверки конкретного URL-а не всегда отображается WWW, даже когда указано главное зеркало с WWW.
Вверху есть ссылка «Открыть robots.txt» — при загрузке возникает аналогичная проблема. Файл не загружается, если главное зеркало с тройным W перед доменом, так как открывается этот файл по ссылке без тройного W.
Проверяйте свои файлы, тестируйте сервис, всем удачи!
