Как понять, почему просел сайт, и быстро вернуть его в ТОП-10 Яндекса?

Введение

В случае потери позиции по одному или нескольким продвигаемым поисковым запросам, важно быстро и правильно диагностировать причину такого выпадения. Только после диагностики можно назначить «лечение» для каждого поискового запроса отдельно и вернуть сайт на лидирующие позиции Яндекса и Google.

В ряде случаев (даже в один апдейт выдачи Яндекса) могут быть найдены сразу несколько существенных причин. мешающих сайту продолжать занимать лидирующие позиции в ТОП-10 (ТОП-20) выдачи. Именно поэтому, не всегда можно одновариантно ответить на вопрос «Почему мой сайт выпал из ТОПа такого-то числа?».

Далее изложение будет вестись исходя из того, что продвигаемый сайт уже находился примерно в ТОП-20 выдачи по интересующему запросу и неожиданно полностью пропал (выпал на сотые места, ТОП-100). Давайте попробуем произвести систематическое изложение наиболее популярных (иногда и очевидных) для этого причин.

Сайты с вторконтентом, просто безумным количеством мешающей рекламы и дорвеи в рассмотрение браться не будут. Интерес представляют именно коммерческие сайты, созданные для людей.

Частые причины: индексация, сильная фильтрация документов, аффилированность группы сайтов, смена CMS

ТОП-1 #

ТОП-1 нашего импровизированного рейтинга «Причины выпадения» занимает индексация продвигаемого документа.

Симптом: сайт резко выпадает или теряет позиции со сменой релевантной страницы. Позиции теряются по всем запросам, ведущим на страницу.

Проверка: для проверки индексации документа в поисковой системе Яндекс достаточно ввести следующий запрос: [url:site. ru/catalog/page. php]. Если выдача пустая, значит, продвигаемый документ выпал из выдачи и в первую очередь требуется вернуть его в индекс поисковой системы [1]. В данном случае можно просто подождать следующего апдейта выдачи.

(!) Важно: правильно вводите URL документа, результат будет отличаться для доменного имени, введенного с www и без, со слешем на конце и без.

(!) Совет: быстрой индексации документа может существенно поспособствовать постановка нескольких ссылок из индексирующихся социальных медиа, таких как Twitter, FaceBook, LiveJournal и других (см. рисунок 1).

Рисунок 1. Наиболее свежие результаты по запросу [продвижение сайта самостоятельно] в Яндексе. Их появление обязано существованию быстрого робота и отдельной базы, предназначенной отдельно для свежих документов.

(!) Совет: осуществите поиск по сайту по интересующему поисковому запросу. В данном случае поможет запрос вида: [продвигаемый-запрос site:domain. ru]. Интересующий документ должен быть на 1 строчке в выдаче. Если его нет среди релевантных ответов, то это также свидетельствует о выпадении его из индекса.

ТОП-2: сильная фильтрация сайта/документа #

Наиболее часто встречаемые текстовые фильтры (описанные в соседней статье) редко могут выбить коммерческий сайт из ТОП-10 сразу на сотые места [2]. В данном случае особое внимание следует уделить возможным сильным фильтрациям, таким как Adult-фильтр [3] и АГС.

Симптом Adult-фильтра: сайт почти полностью теряет входящий поисковый трафик. На нормальных позициях в выдаче остаются только запросы «взрослого характера». Сайт не ранжируется даже по кускам уникального текста. Трафик из других поисковых систем при этом остаётся на примерно постоянном уровне.

Симптом фильтра АГС: из видимой части индекса поисковой системы выпадет ряд содержательных страниц сайта (старые версии АГС) или обнуляется значение показателя тИЦ (новые версии). Читайте также: «Как отличить сайт под АГС от сайта с тИЦ=0 ».

Проверка Adult-фильтра:

  • по запросу вида [site:domain. ru] количество документов осталось на прежнем уровне;
  • сайт не ранжируется даже по уникальным фрагментам текста со страниц в индексе [url:domain. ru/dir/page. html];
  • трафик с Яндекса по статистике падает в 2-30 раз;
  • трафик с других поисковых систем остаётся на прежнем уровне;
  • если ввести запрос относительно взрослого содержания, позиция сайта останется неизменной.

Проверка АГС:

  • по запросу вида [host:site. ru] количество документов в выдаче не больше 100 (старые версии АГС);
  • количество страниц в индексе других поисковых систем осталось на старом уровне и значительно превышает 30 (при их наличии на сервере, конечно);
  • у сайта обнулилось значение показателя тИЦ и проверка на АГС подтверждает наличие фильтра .

Диагностировав, какая именно санкция была применена к вашему сайту, вы сможете направить все силы именно на её устранение.

(!) Важно: в случае с Adult-фильтром причиной может быть размещенная на сайте тизерная сеть или партнерка с «сомнительными» материалами. Иногда вам хватит и единственной ссылки на «взрослый» сайт, чтобы привлечь внимание фильтра.

(!) Важно: в случае АГС причиной служит содержимое низкого качества, дублированный контент, продажа ссылок. Особенно подвержены АГС молодые проекты.

(!) Совет: если вы сильно потеряли в трафике или в количестве страниц в выдаче, то можете смело писать вежливое письмо в техническую поддержу Яндекса для уточнения возможных причин. По обоим вышеперечисленным фильтрам сотрудники поддержки периодически подсказывают возможные причины наложения санкций (хотя и шаблонным образом).

(!) Совет: под АГС можно загнать и неплохой клиентский сайт, если бездумно плодить статьи. Желательно, чтобы каждый добавленный на сайт материал нёс смысловую нагрузку (решал какую-либо задачу пользователя) и был оптимизирован под 2-3 низкочастотных целевых поисковых запроса.

ТОП-3: аффилированность сайтов [4] #

В 2011-2014 годах Яндекс более серьёзно взялся за проблему аффилированности двух и большего числа сайтов одной тематики (сайтов, принадлежащих одной компании). В результате чего, ряд сайтов ранее успешно уживавшихся одновременно в ТОП-10 или ТОП-20 выдачи — утратили свои позиции.

Симптом. сайт резко выпадает из ТОП-100 выдачи по запросу или некоторым запросам. Иногда, позиции могут менять скачком на протяжении нескольких апдейтов подряд (5 место — нет в сотне — 4 место — нет в сотне — …).

При аффилированности двух и большего числа сайтов — в выдаче по каждому запросу остаётся только один, как правило, более релевантный запросу. Остальные аффилиаты скрываются или существенно занижаются в занимаемых ими позициях [4].

Проверка. чтобы понять, что ваш сайт был признан аффилированным с другими, достаточно произвести следующую последовательность действий:

  • задать поисковый запрос, по которому ваш сайт был в ТОП-10 выдачи до этого;
  • последовательно исключить из выдачи каждый из сайтов в ТОП-20 и проследить за выдачей (см. рисунок 2). Запрос вида: [продвигаемый-запрос

site:domainN. ru];

  • если вы исключили один из сайтов и ваш проект тут же начал ранжироваться высоко (появился в ТОПе), то это значит, что исключенный домен и ваш — являются аффилиатами;
  • для уверенности, лучше проделать процедуру и для других продвигаемых фраз.
  • Рисунок 2. Пример продвигаемого поискового запроса и последовательное исключение подозрительных на аффилированность доменов для поиска своего проекта.

    (!) Важно: не забывайте, что аффилированных сайтов может быть несколько и по разным запросам разные домены могут мешать вам в выдаче.

    (!) Совет: можно резко сузить круг подозрительных доменов, если сравнить выдачу по двум и большему числу запросов и выявить сайты, присутствующие и там и там. Иногда это поможет сузить «круг претендентов» до 1-2 штук.

    (!) Совет: аффилированность в большинстве случаев накладывается автоматически. То есть и снять её можно без обращения в службу поддержки — устранив все возможные причины. Пересекающиеся контактные данные, тексты, изображения, IP-адрес хостинга, схожесть названий компаний и доменных имен и другие факторы. Действуйте!

    ТОП-4: смена CMS или структуры URL на сайте #

    Выпадение может произойти в случае смены URL-структуры на сайте. Требуется наиболее оперативно настроить 301-редиректы [11]. В отличие от простого выпадения документа из индекса, тут могут быть некоторые нюансы: текущий продвигаемый URL может находиться в индексе поисковой системы (пункт 1), в то время как старый URL будет отдавать 404 ошибку.

    Симптом. вы недавно меняли CMS или некоторые из URL продвигаемых страниц, после чего (5-30 дней) позиции по целому ряду запросов резко ухудшились.

    Проверка. обязательно посетите панель Вебмастера [8]. Сайт > Индексирование сайта > Исключенные страницы > HTTP-статус: Ресурс не найден (404) (см. рисунок 3). Если среди списка вы нашли URL адреса ранее находящиеся в ТОПе — это оно.

    Рисунок 3. Поиск списка страниц на сайте, отдающих 404-ошибку. Для каждой страницы требуется предпринять меры: настроить 301-редирект, убрать ссылки, ведущие на страницу, или закрыть документ от индексации.

    (!) Важно: при смене URL-структуры всегда настраиваете 301-редиреты [11], это поможет избежать выпадений и сохранит ранее накопленную ссылочную массу и возраст документа.

    (!) Совет: посещайте вкладку исключенных страниц не реже раза в 2-4 недели. Часто, естественные ссылки могут вести на не существующие страницы вида «site. ru/.» или «site. ru/-». Настройка сервера позволит преобразовать эту ссылочную массу в работающую на благо ресурса.

    Из того, что встречается чуть реже: смена типа поискового запроса и алгоритма, вирусы, фильтр на одинаковые сниппеты (карточки), прочие опасности

    ТОП-5: смена типа поискового запроса и/или алгоритма поисковой системы #

    Каждый запрос, который вводят в современную поисковую систему проходит определенную классификацию. Это значит, что в зависимости от определенных характеристик запроса — он будет по-разному обрабатываться поисковиком.

    (!) Важно: Для разных классов запросов — применяются разные формулы. Ряд факторов — также принимают отличные значения для запросов разной классификации.

    Полностью понять и проанализировать, как поисковая машина классифицирует тот или иной запрос для рядового пользователя — не представляется возможным. Но получить некоторые характеристики (по поведению поисковой системы) и применяя логику — возможно.

    (!) Важно: Базовая характеристика запроса — его геозависимость (геонезависимость) [5].

    Очевидно, что в случае смены классификации запроса с геозависимого на геонезависимый (и наоборот) — меняется формула ранжирования, и позиции сайтов в ТОПе изменяться кардинально. Схожие изменения могут наблюдаться и в случае изменения алгоритма ранжирования Яндекса.

    Симптом: сайт по продвигаемому запросу резко меняет занимаемую позицию.

    Проверка: чтобы отличить изменение классификации поискового запроса и смену алгоритма от других причин, требуется произвести следующую последовательность действий:

    • проверить текущий тип запроса (геозависимый он или нет) [6];
    • если известно, какой тип запроса был у него до апдейта и он поменялся в ближайший апдейт — значит, причина кроется в этом;
    • если нет: проверить и выписать ТОП документов по интересующему запросу;
    • сравнить этот список со списком сайтов находящихся там до выпадения (в предыдущую дату);
    • произвести анализ: если ТОП поменялся крайне сильно (более 5-10 новых сайтов на лидирующих позициях, сильная тряска) — значит, произошло изменение алгоритма или типа поискового запроса;
    • произвести анализ: если изменения носят локальный характер — выпало 1-2 сайта, среди которых оказался ваш — причина кроется в чём-то другом.

    (!) Важно: старайтесь всегда анализировать выдачу комплексно, а не мониторить только подвижки одного проекта. Это позволит составить более правильно представление об апдейте. В этом поможет собственная система мониторинга выдачи или сторонний сервис [7].

    ТОП-6: вирусы на сайте #

    Каждый из вебмастеров должен заботиться о продвигаемом им сайте. Причиной выпадения проекта может стать наличие вредоносного кода на сайте вкупе с длительным игнорированием этого факта.

    Рекомендуется периодически просматривать выдачу руками на наличие специальной пометки страницы в результатах поиска Яндекса и наиболее оперативно реагировать на проблему. Специальные оповещения о заражении приходят также пользователям, подтвердившим права на сайт в панели Вебмастера [8].

    (!) Важно: игнорирование специальной пометки в результатах поиска чрезвычайно негативно сказывается на позициях, так как у документа существенно снижаются значимые поведенческие факторы, такие как CTR по запросу, общее количество кликов и прочие.

    (!) Важно: соблюдайте элементарные правила безопасности. Не храните пароли в FTP-клиентах, не используйте стандартные и популярные пароли, периодически меняйте доступы.

    (!) Совет: оптимально устранять проблему заражения ещё на том этапе, когда пометка в выдаче не успела появиться. Это возможно, если регулярно посещать сайт с включенным антивирусом, следить за количество страниц в выдаче и незапланированными изменениями файлов на сервере (js, php. htaccess).

    ТОП-7: Фильтр на одинаковые сниппеты #

    Поисковые системы сильно заботятся о своей выдаче, её полноте и разнообразии. Пользователь должен быть удовлетворён результатами по своему запросу, даже если ввёл весьма неоднозначный поисковый запрос. Яндекс решает эту задачу тремя основными приёмами:

    • Поисковая технология «Спектр», внедренная в декабре 2010 года [9]. «Спектр» направлен на разнообразие результатов выдачи по неоднозначным поисковым запросам.
    • Скрытие предложений товаров и услуг от «схожих» или одинаковых компаний (аффилированность, см. пункт 3).
    • Фильтр на одинаковые сниппеты: скрытие результатов, которые по тем или иным причинам содержат повторяющийся сниппет (текстовое описание, анонс), см. рисунок 4.

    Рисунок 4. Вывод полного списка релевантных сайтов с добавление параметра &rd=0 в URL позволяет проверить — попал ли продвигаемый сайт под фильтр Яндекса на одинаковые сниппеты или нет.

    Фильтр на одинаковые сниппеты наиболее часто встречается при продвижении конкретных товарных позиций интернет-магазинов. Если анонс вашего документа полностью или почти полностью дублирует анонс другого сайта, то один из результатов будет скрыт для пользователей. Отобразить все релевантные сайты можно, если нажать на ссылку «Показать всё без исключения » после последнего результата или дописать в конце URL: &rd=0.

    Симптом: сайт теряет позицию по одному или нескольким товарным запросам.

    Проверка: при этом, позиции сильно улучшаются, если просмотреть выдачу с параметром &rd=0 в URL или нажать на ссылку «Показать всё без исключения».

    (!) Важно: фильтр накладывается, если описание товаров или его характеристики не являются уникальными. И не уникальная фраза участвует в формировании сниппета. При этом ваш сайт не признаётся Яндексом автором контента.

    (!) Совет: если попали под фильтр, добейтесь уникальности дополнительного описания товара. Заполните meta-тег description привлекательным и не спамным содержимым. Допишите в начале карточки 2-3 уникальных предложения с содержанием ключевой фразы.

    (!) Совет: далеко не всегда 100% уникальность текста на странице даст весомый плюс в ранжировании карточки товара. Но, чтобы не попасть под фильтр (а в поисковой системе Google это может быть и Панда [10]), рекомендуется добавить на страницу уникальное содержимое: анонс, отзывы, обзоры, расширенные данные о продукте.

    ТОП-8: некорректность файла robots. txt или meta-тегов #

    Часто причиной резкой потери позиции может быть некорректное содержание файла robots. txt, который отвечает на сканирование сайта пауками поисковых систем, а также наличие meta-тега robots, запрещающего индексацию документа.

    То что страница разрешена к индексации, можно проверить с помощью сервиса ADD URL в Яндексе [1], просто введя интересующий адрес в форму, если документ запрещен к индексации посредством файла robots. txt или meta-тега, то выведется предупреждение свидетельствующее об этом (рисунок 5).

    Рисунок 5. Вывод сообщения «Указанный URL запрещен к индексации в файле robots. txt» при добавлении документа в сервис ADD URL Яндекса.

    Пример корректно составленного файла:

    User-Agent: Yandex

    Disallow: /papku-ne-nado-indeksirovat

    Disallow: *?i-etot-get-parametr=*

    Host: www. pixelplus. ru

    User-Agent: *

    Disallow: /papku-ne-nado-indeksirovat

    Disallow: *?i-etot-get-parametr=*

    Дополнительно стоит проверить наличие и корректность атрибута rel=»canonical» тега <link>. Его требуется использовать, если на сайте есть два и большее количество URL-адресов, по которым оказывается доступен один и тот же документ. Скажем:

    • https://pixelplus. ru/samostoyatelno/stati/
    • https://pixelplus. ru/samostoyatelno/stati/?from-email
    • https://pixelplus. ru/samostoyatelno/stati-po-seo/

    Тогда, чтобы избежать наличия дублей в индексе, на всей группе одинаковых страниц устанавливается тег, указывающий основной адрес (канонический). Если атрибут указан некорректно, то это может привести к выпадению нужных документов из индекса. Пример тега:

    <link rel=»canonical» href=»https://pixelplus. ru/samostoyatelno/stati/» />

    ТОП-9: Прочие опасности #

    Выше были рассмотрены наиболее частые причины выпадения коммерческих сайтов из ТОП-10 лидирующей поисковой системы рунета — Яндекса. Но в ряде случаев, SEO-специалиста могут подстегать и более редкие опасности. Обращать на них внимание можно, если ни один из описанных выше приёмов проверки не сработал.

    Просто перечислим их, чтобы далее читатель понимал, куда можно двигаться в случае неудачи:

    • Изменение региональной привязки сайта. При ранжировании по геозависимым поисковым запросам поисковая система Яндекс обращает пристальное внимание на совпадение региона пользователя и региональной привязки сайта. Если в какой-то момент у вас сменилась эта привязка — это станет причиной существенного изменения занимаемых позиций. Важно отслеживать привязку в панели Вебмастера (Сайт > География сайта > Регион сайта ) и периодически проверять, что всё в порядке.
    • Выпадение сайта в результате пересчета категорий ответов в поисковой технологии «Спектр». Требуется понять, мог ли выводиться ваш сайт, как примесь по одной из дополнительных категорий ответов «Спектра».
    • Дубли страниц в рамках одного сайта. В случае нормально настройки работы сайта (CMS и хостинга) этой проблемы можно полностью избежать, однако в большинстве случаев, по разным URL адресам в рамках одного сайта — отдаётся одинаковое содержимое. Однажды это может сильно аукнуться, если в индекс попадёт сразу несколько полных копий продвигаемого документа. Для проверки осуществляйте поиск уникального фрагмента текста в рамках сайта. Здесь поможет поисковый запрос следующего вида: [«уникальный_текст_со_страницы» site:host. ru].
    • Ваш ресурс содержит избыточное количество неуникальных текстов, это может сказаться и на позициях страниц, которые содержать уникальный материал.
    • На сайте размещен Popunder или навязчивая реклама открывается при клике пользователя.
    • Смена доменного имени. требуется чётко соблюдать последовательность действий. Сначала указываем главное зеркало в robots. txt в директиве Host и только после склейки/переклейки ставим 301-редирект, а не наоборот!

    ТОП-10: Санкции за накрутку ПФ #

    В 2014 и 2015 годах, многие сайты стали подвергаться санкциям за накрутку кликовых поведенческих факторов .

    По заверениям представителей поисковой системы Яндекс под пессимизацию попали несколько тысяч сайтов, которые имели отношение к накрутке и манипуляции действий пользователей.

    При этом, сама санкция является очень сильной и длительной — от 6 календарных месяцев. Для диагностики факта наложения санкций за накрутку ПФ — рекомендуется написать соответствующий вопрос в службу поддержки Яндекса. Также, рекомендуются следующие действия для снятия санкций, в зависимости от срока их применения: ответ на вопрос .

    С чего следует начинать любой анализ

    Помните, анализ причины требуется начинать с полноценной оценки ТОПа и сравнению выдачи до и после апдейта. Это позволит вам быстро отделить локальные подвижки (изменение позиции 1-3 сайтов) от глобального апдейта алгоритма/классификации запроса и существенно сузить круг возможных причин.