Руководитель отдела SEO и рекламы «Пиксель Плюс»
Введение
В случае потери позиции по одному или нескольким продвигаемым поисковым запросам важно быстро и правильно диагностировать причину. Только после диагностики можно назначить «лечение» для каждого поискового запроса отдельно и вернуть сайт на лидирующие позиции.
В ряде случаев (даже в один апдейт выдачи Яндекса) могут быть найдены сразу несколько существенных причин, мешающих сайту продолжать занимать лидирующие позиции в ТОП-10 (ТОП-20) выдачи. Именно поэтому, не всегда можно одновариантно ответить на вопрос: «Почему мой сайт выпал из ТОПа такого-то числа?».
Далее изложение будет вестись исходя из того, что продвигаемый сайт уже находился примерно в ТОП-20 выдачи по интересующему запросу и неожиданно полностью пропал (выпал на сотые места, ТОП-100). Давайте попробуем произвести систематическое изложение наиболее популярных (иногда и очевидных) для этого причин.
Сайты с вторконтентом, просто безумным количеством мешающей рекламы и дорвеи в рассмотрение браться не будут. Интерес представляют именно коммерческие сайты — созданные для людей.
Наиболее частые причины: индексация документов, сильная фильтрация, аффилированность группы сайтов, смена CMS
1. ТОП-1 нашего импровизированного рейтинга «Причины выпадения» занимает индексация продвигаемого документа
Симптом: сайт резко выпадает или теряет позиции со сменой релевантной страницы. Позиции теряются по всем запросам, ведущим на страницу.
Проверка: для проверки индексации документа в поисковой системе Яндекс достаточно ввести следующий запрос: [url:domain. ru/dir/page. html]. Если выдача пустая, значит, продвигаемый документ выпал из выдачи и в первую очередь требуется вернуть его в индекс поисковой системы [1]. В данном случае можно просто подождать следующего апдейта выдачи.
(!) Важно: правильно вводите URL документа, результат будет отличаться для доменного имени, введенного с www и без, со слешем на конце и без.
(!) Совет: быстрой индексации документа может поспособствовать постановка нескольких ссылок из индексирующихся социальных медиа, таких как Twitter, LiveJournal и FaceBook (см. рисунок 1).
Рисунок 1. Наиболее свежие результаты по запросу [продвижение сайтов] в Яндексе. Их появление обязано существованию быстрого робота и отдельной базы, предназначенной отдельно для свежих документов
(!) Совет: осуществите поиск по сайту по интересующему поисковому запросу. Вам поможет запрос вида: [продвигаемая_фраза site:domain. ru]. Интересующий документ должен быть на 1 строчке в выдаче. Если его нет среди релевантных ответов, то это также свидетельствует о выпадении его из индекса.
2. ТОП-2: сильная фильтрация сайта/документа
Наиболее часто встречаемые текстовые фильтры редко могут выбить коммерческий сайт из ТОП-10 сразу на сотые места [2]. В данном случае особое внимание следует уделить возможным сильным фильтрациям, таким как Adult-фильтр [3] и АГС.
Симптом Adult-фильтра: сайт почти полностью теряет входящий поисковый трафик. На нормальных позициях в выдаче остаются только запросы «взрослого характера». Сайт не ранжируется даже по кускам уникального текста. Трафик из других поисковых систем, при этом, остаётся на примерно постоянном уровне.
Симптом фильтра АГС: из видимой части индекса поисковой системы выпадет ряд содержательных страниц сайта. Общее число документов в выдаче ограничивается числом
30 (часто это: 1, 7, 11, 21, 30 страниц) .
Проверка Adult-фильтра:
- по запросу вида [site:domain. ru] количество документов осталось на прежнем уровне;
- сайт не ранжируется даже по уникальным фрагментам текста со страниц в индексе [url:domain. ru/dir/page. html];
- трафик с Яндекса по статистике падает в 3-15 раз;
- трафик с других поисковых систем остаётся на прежнем уровне;
- если ввести запрос относительно взрослого содержания, позиция сайта останется неизменной.
Проверка АГС:
- по запросу вида [host:domain. ru] количество документов в выдаче не больше 30;
- количество страниц в индексе других поисковых систем осталось на старом уровне и значительно превышает 30 (при их наличии на сервере, конечно) .
Диагностировав, какая именно санкция была применена к вашему сайту, вы сможете направить все силы именно на её устранение.
(!) Важно: в случае с Adult-фильтром причиной может быть размещенная на сайте тизерная сеть или партнерка с «сомнительными» материалами. Иногда, вам хватит и единственной ссылки на «взрослый» сайт, чтобы привлечь внимание фильтра.
(!) Важно: в случае АГС причиной служит содержимое низкого качества, дублированный контент, продажа ссылок. Особенно подвержены АГС молодые проекты.
(!) Совет: если вы сильно потеряли в трафике или в количестве страниц в выдаче, то можете смело писать вежливое письмо в техническую поддержу Яндекса для уточнения возможных причин. По обоим вышеперечисленным фильтрам сотрудники поддержки периодически подсказывают возможные причины наложения санкций (хотя и шаблонным образом).
(!) Совет: под АГС можно загнать и неплохой клиентский сайт, если бездумно плодить статьи. Желательно, чтобы каждый добавленный на сайт материал нёс смысловую нагрузку (решал какую-либо задачу пользователя) и был оптимизирован под 2-3 низкочастотных целевых поисковых запроса.
3. ТОП-3: аффилированность сайтов [4]
В 2011-2013 годах Яндекс более серьёзно взялся за проблему аффилированности двух и большего числа сайтов одной тематики (сайтов, принадлежащих одной компании). В результате чего, ряд сайтов ранее успешно уживавшихся одновременно в ТОП-10 или ТОП-20 выдачи — утратили свои позиции.
Симптом: сайт резко выпадает из ТОП-100 выдачи по запросу или некоторым запросам. Иногда, позиции могут менять скачком на протяжении нескольких апдейтов подряд (5 место — нет в сотне — 4 место — нет в сотне —. ).
При аффилированности двух и большего числа сайтов — в выдаче по каждому запросу остаётся только один, как правило, более релевантный запросу. Остальные аффилиаты скрываются или существенно занижаются в занимаемых ими позициях [4].
Проверка. чтобы понять, что ваш сайт был признан аффилированным с другими, достаточно произвести следующую последовательность действий:
- задать поисковый запрос, по которому ваш сайт был в ТОП-10 выдачи до этого;
- последовательно исключить из выдачи каждый из сайтов в ТОП-20 и проследить за выдачей (см. рисунок 2). Запрос вида: [продвигаемая_фраза
site:domain. ru];
Рисунок 2. Пример продвигаемого поискового запроса и последовательное исключение подозрительных на аффилированность доменов, для поиска своего проекта
(!) Важно: не забывайте, что аффилированных сайтов может быть несколько и по разным запросам — разные домены могут мешать вам в выдаче.
(!) Совет: можно резко сузить круг подозрительных доменов, если сравнить выдачу по двум и большему числу запросов и выявить сайты присутствующие и там и там. Иногда это поможет сузить «круг претендентов» до 1-2 штук.
(!) Совет: аффилированность в большинстве случаев накладывается автоматически. То есть и снять её можно без обращения в службу поддержки — устранив все возможные причины. Пересекающиеся контактные данные, тексты, изображения, внешний IP-адрес хостинга, схожесть названий компаний и доменных имен. Действуйте.
4. Смена CMS или структуры URL на сайте
Выпадение может произойти в случае смены URL-структуры на сайте. Требуется наиболее оперативно настроить 301-редиреты [11]. В отличие от простого выпадения документа из индекса, тут могут быть некоторые нюансы: текущий продвигаемый URL может находиться в индексе поисковой системы (пункт 1), в то время как старый URL будет отдавать 404 ошибку.
Симптом: вы недавно меняли CMS или некоторые из URL продвигаемых страниц, после чего (7-25 дней) позиции по целому ряду запросов резко ухудшились.
Проверка: обязательно посетите панель Вебмастера [8]. Сайт > Индексирование сайта > Исключенные страницы > HTTP-статус: Ресурс не найден (404) (см. рисунок 3). Если среди списка вы нашли URL адреса ранее находящиеся в ТОПе — это оно.
Рисунок 3. Поиск списка страниц на сайте отдающих 404-ошибку. Для каждой страницы требуется предпринять меры: настроить 301-редирект, убрать ссылки, ведущие на страницу или закрыть документ от индексации
(!) Важно: при смене URL-структуры всегда настраиваете 301-редиреты [11], это поможет избежать выпадений и сохранит ранее накопленную ссылочную массу и возраст документа.
(!) Совет: посещайте вкладку исключенных страниц не реже раза в 2-4 недели. Часто, естественные ссылки могут вести на не существующие страницы вида «site. ru/.» или «site. ru/-». Настройка сервера позволит преобразовать эту ссылочную массу в работающую на благо ресурса.
Из того, что встречается чуть реже: смена типа поискового запроса и алгоритма, вирусы, фильтр на одинаковые сниппеты (карточки), прочие опасности
5. Смена типа поискового запроса и/или алгоритма поисковой системы
Каждый запрос, который вводят в современную поисковую систему проходит определенную классификацию. Это значит, что в зависимости от определенных характеристик запроса — он будет по-разному обрабатываться поисковиком.
(!) Важно: Для разных классов запросов — применяются разные формулы. Ряд факторов — также принимают отличные значения для запросов разной классификации.
Полностью понять и проанализировать, как поисковая машина классифицирует тот или иной запрос для рядового пользователя — не представляется возможным. Но получить некоторые характеристики (по поведению поисковой системы) и применяя логику — возможно.
(!) Важно: Базовая характеристика запроса — его геозависимость (геонезависимость) [5].
Очевидно, что в случае смены классификации запроса с геозависимого на геонезависимый (и наоборот) — меняется формула ранжирования, и позиции сайтов в ТОПе изменяться кардинально. Схожие изменения могут наблюдаться и в случае изменения алгоритма ранжирования Яндекса.
Симптом: сайт по продвигаемому запросу резко меняет занимаемую позицию.
Проверка: чтобы отличить изменение классификации поискового запроса и смену алгоритма от других причин, требуется произвести следующую последовательность действий:
- проверить текущий тип запроса (геозависимый он или нет) [6];
- если известно, какой тип запроса был у него до апдейта и он поменялся в ближайший апдейт — значит, причина кроется в этом;
- если нет: проверить и выписать ТОП документов по интересующему запросу;
- сравнить этот список со списком сайтов находящихся там до выпадения (в предыдущую дату);
- произвести анализ: если ТОП поменялся крайне сильно (более 5-10 новых сайтов на лидирующих позициях, сильная тряска) — значит, произошло изменение алгоритма или типа поискового запроса;
- произвести анализ: если изменения носят локальный характер — выпало 1-2 сайта, среди которых оказался ваш — причина кроется в чём-то другом.
(!) Важно: старайтесь всегда анализировать выдачу комплексно, а не мониторить только подвижки одного проекта. Это позволит составить более правильно представление об апдейте. В этом поможет собственная система мониторинга выдачи или сторонний сервис [7].
6. Вирусы на сайте
Каждый из вебмастеров должен заботиться о продвигаемом им сайте. Причиной выпадения проекта может стать наличие вредоносного кода на сайте вкупе с длительным игнорированием этого факта.
Рекомендуется периодически просматривать выдачу руками на наличие специальной пометки страницы в результатах поиска Яндекса и наиболее оперативно реагировать на проблему. Специальные оповещения о заражении приходят также пользователям, подтвердившим права на сайт в панели Вебмастера [8].
(!) Важно: игнорирование специальной пометки в результатах поиска чрезвычайно негативно сказывается на позициях, так как у документа существенно снижаются значимые поведенческие факторы, такие как CTR по запросу, общее количество кликов и прочие.
(!) Важно: соблюдайте элементарные правила безопасности. Не храните пароли в FTP-клиентах, не используйте стандартные и популярные пароли, периодически меняйте доступы.
(!) Совет: оптимально устранять проблему заражения ещё на том этапе, когда пометка в выдаче не успела появиться. Это возможно, если регулярно посещать сайт с включенным антивирусом, следить за количество страниц в выдаче и незапланированными изменениями файлов на сервере (js, php. htaccess).
7. Фильтр на одинаковые сниппеты
Поисковые системы сильно заботятся о своей выдаче, её полноте и разнообразии. Пользователь должен быть удовлетворён результатами по своему запросу, даже если ввёл весьма неоднозначный поисковый запрос. Яндекс решает эту задачу тремя основными приёмами:
- Поисковая технология «Спектр», внедренная в декабре 2010 года [9]. «Спектр» направлен на разнообразие результатов выдачи по неоднозначным поисковым запросам.
- Скрытие предложений товаров и услуг от «схожих» или одинаковых компаний (аффилированность, см. пункт 3).
- Фильтр на одинаковые сниппеты: скрытие результатов, которые по тем или иным причинам содержат повторяющийся сниппет (текстовое описание, анонс), см. рисунок 4.
Рисунок 4. Вывод полного списка релевантных сайтов с добавление параметра &rd=0 в URL позволяет проверить — попал ли продвигаемый сайт под фильтр Яндекса на одинаковые сниппеты
Фильтр на одинаковые сниппеты наиболее часто встречается при продвижении конкретных товарных позиций интернет-магазинов. Если анонс вашего документа дублирует анонс другого сайта, то один из результатов будет скрыт для пользователей. Отобразить все релевантные сайты можно, если нажать на ссылку «Показать всё без исключения » после последнего результата или дописать в конце URL: &rd=0.
Симптом: сайт теряет позицию по одному или нескольким товарным запросам.
Проверка: при этом, позиции сильно улучшаются, если просмотреть выдачу с параметром &rd=0 в URL или нажать на ссылку «Показать всё без исключения» .
(!) Важно: фильтр накладывается, если описание товаров или его характеристики не являются уникальными. И не уникальная фраза участвует в формировании сниппета. При этом ваш сайт не признаётся Яндексом автором контента.
(!) Совет: если попали под фильтр, добейтесь уникальности дополнительного описания товара. Заполните meta-тег description привлекательным и не спамным содержимым. Допишите в начале карточки 2-3 уникальных предложения с содержанием ключевой фразы.
(!) Совет: далеко не всегда 100% уникальность текста на странице даст весомый плюс в ранжировании карточки товара. Но, чтобы не попасть под фильтр (а в поисковой системе Google это может быть и Панда [10]), рекомендуется добавить на страницу уникальное содержимое: анонс, отзывы, обзоры, расширенные данные о продукте.
8. Прочие опасности
Выше были рассмотрены наиболее частые причины выпадения коммерческих сайтов из ТОП-10 лидирующей поисковой системы рунета — Яндекса. Но в ряде случаев, SEO-специалиста могут подстегать и более редкие опасности. Обращать на них внимание можно, если ни один из описанных выше приёмов проверки не сработал.
Просто перечислим их, чтобы далее читатель понимал, куда можно двигаться в случае неудачи:
- Изменение региональной привязки сайта. При ранжировании по геозависимым поисковым запросам поисковая система Яндекс обращает пристальное внимание на совпадение региона пользователя и региональной привязки сайта. Если в какой-то момент у вас сменилась эта привязка — это станет причиной существенного изменения занимаемых позиций. Важно отслеживать привязку в панели Вебмастера (Сайт > География сайта > Регион сайта ) и периодически проверять, что всё в порядке.
- Выпадение сайта в результате пересчета категорий ответов в поисковой технологии «Спектр». Требуется понять, мог ли выводиться ваш сайт, как примесь по одной из дополнительных категорий ответов «Спектра».
- Дубли страниц в рамках одного сайта. В случае нормально настройки работы сайта (CMS и хостинга) этой проблемы можно полностью избежать, однако в большинстве случаев, по разным URL адресам в рамках одного сайта — отдаётся одинаковое содержимое. Однажды это может сильно аукнуться, если в индекс попадёт сразу несколько полных копий продвигаемого документа. Для проверки осуществляйте поиск уникального фрагмента текста в рамках вашего сайта. Вам поможет запрос вида: [«уникальный_кусок_текста» site:domain. ru].
- Содержимое файла robots. txt, проверьте, может быть, вы сами запретили сайт или ряд важных разделов к индексации директивой Disallow.
- Ваш ресурс содержит избыточное количество неуникальных текстов, это может сказаться и на позициях страниц, которые содержать уникальный материал.
- На сайте размещен Popunder или навязчивая реклама открывается при клике пользователя.
- Смена доменного имени: требуется чётко соблюдать последовательность действий. Сначала указываем главное зеркало в robots. txt в директиве Host и только после склейки/переклейки ставим 301-редирект, а не наоборот!
С чего следует начинать любой анализ
Помните, анализ важно начинать с полноценной оценки ТОПа и сравнению выдачи до и после апдейта. Это позволит вам быстрой отделить локальные подвижки (изменение позиции 1-3 сайтов) от глобального апдейта алгоритма/классификации запроса и существенно снизить круг возможных причин.