Индексирование в Google

Одной из самых распространенных проблем, которые испытывают на себе различные оптимизаторы, когда пытаются занять место для своего сайта в Google является то, что сайт перестаёт корректно индексироваться. Это означает, что поисковой системе Google не удается получить доступ к веб-страницам для индексации их содержимого.

Чтобы проверить эффективно ли ваш сайт сканирует робот Гугла, нужно войти в инструменты для вебмастеров Google Webmaster Tools и проверить индексацию на вкладке «Индекс Google». Там вы найдете общее количество страниц, которое проиндексировал поисковой паук. Если вы видите падение числа этих страниц, вы, вероятно, испытывает снижение уровня трафика на сайте.

Ищем причину плохого индексирования сайта в Гугл

Если вы уже рассматривали информацию из инструментов для вебмастеров Google и обнаружили, что не все ваши страницы были проиндексированы этой поисковой системой, то сейчас самое время, чтобы разобраться в возможных проблемах. Имеются в виду проблемы, которые Гугл испытывает со сканированием вашего сайта.

Существует на вашем сайте ошибки доступа (Crawler)?

Начать нужно за заголовков, которые отдаёт сервер. Для этого переходим в Google Webmaster Tools и проверяем «Сообщения об ошибках» с вкладки «Сканирование». Наиболее вероятная ошибка, которую вы найдете — это 404 HTTP код. Это сигнализирует о том, что URL не может быть найден.

Другие ошибки доступа включают в себя:

• Robots.txt — плохое содержание файла robots.txt может быть вредным для индексации. Это текстовый файл, представляющий из себя набор инструкций, которые указывают роботам поисковой системе что нужно индексировать, а что — нет. Если он включает в себя строку, например, «User-Agent: * Disallow: /» — это говорит о полном запрете индексации каждой ПС, в том числе и Google.
• .htaccess — это невидимый файл может наделать много неприятных вещей, если он не правильно настроен на вашем сайте. Большинство клиентов FTP позволяет отображать скрытые файлы, так что вы можете получить доступ к нему при необходимости.
• Мета-теги — если у вас есть страницы, которые не индексируются, убедитесь, что они не имеют следующих мета-тегов в исходном коде:
• Карта сайта — если вы получаете ошибку с Карты сайта, то это означает, что она не обновляется должным образом. Возможно ваша старая карта сайта в настоящее время повторно отправлена в Google вместо новой. Когда вы решаете любые вопросы, связанные с этим, убедитесь, что вы указали свежую карту сайта и повторно отправили её.
• Параметры ссылок — Google предоставляет средства для настройки параметров URL, когда дело доходит до динамических связей. Однако неправильная конфигурация URL может привести к выпадению страниц из индекса.
• Вопросы DNS или подключения — если пауки Google просто не могут достичь ваш сервер, то можно столкнуться с нарушением функции обходчика. Это может произойти по разным причинам, например, ваш хостинг закрыт на техническое обслуживание или были ошибки доступа по вашей вине.
• Унаследованные проблемы — если вы купили старый домен или переместили свой новый ​​сайт вместо старого сайта, то вполне возможно, что предыдущие были оштрафованы Google. Это будет препятствовать индексации нового сайта. Вы должны будете подать заявку на пересмотр в Гугл.

Если вы планируете использовать домен с историей для своего сайта, не забудьте взглянуть на неё перед покупкой домена. Вы можете использовать для этих целей Интернет Архив Wayback Machine, чтобы увидеть страницы, которые ранее были размещены на вашем домене.

Существуют ли на вашем сайте синтаксические ошибки или структурные сложности?

Поисковая система Гугла очень терпима, когда дело доходит до HTML ошибок внутри веб-страниц, но не исключено, что синтаксические ошибки могут предотвратить индексацию (в крайних случаях). Проверьте HTML вашего сайта в W3C HTML Validator, чтобы увидеть отчет об ошибках, которые необходимо исправить.

Google советует делать структурe сайта логичной на столько, на сколько это возможно. Каждая страница должна быть доступна хотя бы по одной тестовой ссылке. Вы можете использовать специальный браузер, чтобы посмотреть на сайт так же, как это делают пауки различных поисковиков. Помните, что части вашего сайта, которые используют фреймы, JavaScript, Flash, идентификаторы сеансов и DHTML, поисковые пауки индексировать не могут.

Существуют ли входящие ссылки на ваш ресурс?

Чтобы быть проиндексированным в Google, ваш сайт должен иметь по крайней мере одну входящую ссылку с другого сайта, который уже проиндексирован в поисковых системах. Это общая причина, по которой индексирование новых сайтов занимает много времени.

Один из способов создать некоторые быстрые ссылки — это получение ссылок с социальных сетей. Социальные медиа профили, которые несут высокий вес — это Facebook страницы, профили Twitter, профили и страницы Google+, профили LinkedIn, каналы YouTube и профили Pinterest.

Ведение блогов, помимо основного сайта, является еще одним прекрасным способом для налаживания связей, которые помогут индексировать ваш сайт должным образом. Нужно только убедиться, что контент, публикуемый на своём блоге и других блогах, имеет отношение к вашему сайту — на других блогах в вашей нише. Так вы получите свои первые входящие ссылки. Просто вы должны убедиться, что эти внешние сайты все высокого качества, так как спам-ссылки будут приносить вред вместо пользы. Лучший способ убедиться, что ваши ссылки высокого качества — убедиться, что они имеют «естественные ссылки», ссылки, которые развиваются в рамках динамической природы Интернета, где другие сайты ссылаются на содержание выбранного.

Руководство веб-мастера подскажет о более подробных моментах.

Есть нарушения, санкции и штрафы?

Одним из самых трудных препятствий в правильной индексации Google является штраф от Гугл. Есть ряд причин, почему вы могли столкнуться со штрафами от ПС, но если вы не имеете дело с такой проблемой, вы можете быть deindexed (сняты с поисковых систем).

Чтобы избежать наказания, нужно обходить стороной следующие моменты:

• Автоматическое создание контента
• Схемы Link
• Плагиат или дублирование контента
• Маскировка
• Скрытая переадресация
• Скрытые ссылки и текст
• Страницы портала
• Партнерские программы с небольшим содержанием стоимости
• Использование не релевантных ключевых слов
• Страницы, которые устанавливают трояны, вирусы и другие рекламные программы
• Злоупотребление фрагментами
• Автоматизация запросов к Google

Восстановление после штрафов Гугл требует напряженной работы и должной осмотрительности, чтобы удалить ссылки на вашей стороне. Вы должны будете отправить запрос на пересмотр, прежде чем ваш сайт начнёт эффективно индексироваться и ранжироваться.

Итоги

Большинство из этих проверок сделать быстро и легко, так что не позволяйте вашим SEO и ссылочным усилиям тратится впустую — убедитесь, что ваш сайт правильно проиндексирован Google. Это удивительно, как много сайтов имеют некоторые из самых маленьких ошибок, и это препятствует их правильной индексации. В конце концов, это больно сказывается на рейтинге сайта, что вредит трафику, что вредит продажам.