Продолжим улучшать индексирование своих сайтов и на этот раз рассмотрим общие, казалось бы, само собой разумеющиеся моменты. Согласно рекомендациям разработчиков самой поисковой системы Яндекс, для улучшения индексации нужно выполнить несколько простых действий, о которых часто забывают начинающие вебмастера.
В статье рассмотрим эти действия и определим наиболее важные моменты, чтобы индексация проходила быстро и качественно.
Рекомендации Яндекса для более быстрой индексации
На самом деле, всё очень просто. Для ускорения появления новых статей с ваших сайтов в результатах поиска, нужно исключать из индекса «мусорную» информацию и сообщать поисковому роботу о появлении новой страницы. Под «мусорной» информацией подразумеваются страницы, имеющие повторяющийся контент или информацию, не имеющую определённой ценности для пользователей и сайта в целом.
Допустим, есть страница с определённой информацией. Адрес страницы имеет вид: http://ваш_сайт.ru/seo/страница.html, однако эта же страница доступна, к примеру, и по таким адресам: http://ваш_сайт.ru/tag/more/страница.html и http://ваш_сайт.ru/оптимизация/сайт/страница.html и так далее. Получается, что контент один, а страниц с ним множество — в этом случае нужно выбрать только один адрес, по которому будет доступна информация.
Другая ситуация — страницы пользователей, административная часть сайта и другие странички, которые не несут полезной нагрузки. Какой толк от появления в индексе поисковой системы страницы пользователя, который зарегистрирован на вашем сайте? Никакого! Только для самого пользователя — если он указал в своём профиле ссылку на свой сайт.
Итак, 4 простых действия для лучшей индексации в Яндекс:
- Запрещаем индексировать «мусорный» контент. Все страницы, которые могут быть не интересными для посетителей, такие как страница результатов поиска на вашем сайте, страницы с повторяющимся контентом и так далее, нужно запретить индексировать с помощью специального файла robot.txt (его созданием займёмся в следующей статье).
- Создаём в корневой директории специальный файл Sitemap — он поможет роботу лучше проиндексировать сайт тем, что предоставит ему список ссылок на статьи с некоторыми параметрами. Лучше всего Sitemap создавать с помощью специального плагина или сервиса.
- На сайте должна присутствовать страница «Карта сайта». В карте должны быть указаны ссылки на все страницы интернет-сайта. Здесь оптимально использовать плагин PS Auto Sitemap для Вордпресс, чтобы карта строилась автоматически в момент добавления новой информации.
- Последний, четвёртый момент — он касается сервера, где хранится ваш сайт, связан с заголовками ответов, которые отсылает сервер при каких-либо условиях. Допустим, страница вашего сайта удалена и больше не доступна — должна выдаваться ошибка 404; если над страницей не было никаких изменений, а поступил запрос If-Modified-Since, то должен быть выдан код 304 и так далее.
Проверьте свои сайты на наличие перечисленных файлов и страниц, а также настройте корректные заголовки ответов сервера. Эти рекомендации были получены из официальной справки поисковой системы Яндекс: как ускорить индексирование.
