Релевантность и ранжирование

Размещено на http://www.allbest.ru/

Релевантность и ранжирование

релевантность ранжирование поисковый машина

Введение

Релевантность, в общем смысле -- это степень соответствия чего-то чему-то, а применительно к поисковым системам -- это соответствие поискового запроса (введенного пользователем поисковика) и веб страницы (документа), найденного этой поисковой системой во интернете (WWW). Чем выше будет соответствие запроса содержанию страницы вашего ресурса, тем лучше будет его ранжирование и тем выше он будет стоять в поисковой выдаче.

Отсюда, кстати, можно сделать заключение, что SEO оптимизация -- это ничто иное, как искусственное повышение релевантности страницы вашего сайта (веб документа) определенному поисковому запросу (или нескольким запросам). Т.е. подбираем предварительно часто задаваемые в Яндексе или Гугле поисковые запросы и делаем так, чтобы определенные страницы нашего сайта стали бы более релевантными, чем те страницы других ресурсов, которые находятся на первым местах поисковой выдачи по этим же поисковым запросам.

Факторов, которые учитывают поисковые системы при определении релевантности веб страницы при ее ранжировании, очень много (счет идет на сотни или даже тысячи), но не все из них представляют серьезную значимость и не на все из них мы может повлиять (или даже узнать об их существовании). Всю совокупность этих факторов, влияющих на выдачу, обычно условно делят на несколько групп:

Внутренние факторы -- контент веб страницы, ее структура и правильность верстки, а так же степень ее засспамленности ключевыми словам.

Внешние факторы -- ссылочная релевантность (учитываются тексты ссылок, которые идут на ваш сайт, их количество и качество ресурсов, с которых они проставлены) и так называемый траст сайта (насколько поисковики ему доверяют)

Поведенческие факторы -- оценивается поведение пользователей в поисковой выдаче и поведение пользователей на самом сайте (поисковики стремятся, отслеживая поведение пользователей, чтобы узнать, насколько страница данного сайта отвечает данному поисковому запросу -- оценить правильность определения релевантности)

Т.о. ранжирование сайтов в поисковой выдаче происходит на основе релевантности (соответствия веб документа введенному пользователем запросу). Тут важно понять, что поисковик всегда будет находиться на стороне пользователя, которому, по большому счету, все равно какой именно ресурс будет находиться вверху поисковой выдачи -- ему важно, чтобы на странице этого ресурса он нашел ответ на свой вопрос. А то, что хочет пользователь, то хочет и поисковая система (будь то Яндекс или Гугл).

Поисковые системы (Яндекс и Гугл, в частности) при всей своей грандиозности являются всего лишь сайтами, а значит для них действуют точно такие же принципы -- чем больше будет пользователей у вебсайта, тем выше будет теоретическая и практическая прибыль. А чем поисковик может привлечь на свою сторону посетителя?

Максимально точными ответами на заданные посетителем вопросы, которые называют «по научному» поисковыми запросами (кстати, научившись правильно работать со статистикой поисковых запросов Яндекса и Гугла вы будете всегда идти на шаг впереди ваших потенциальных конкурентов). Т.е., чем точнее поисковик сможете определять релевантность веб страниц поисковому запросу, тем будет более точное ранжирование сайтов в его выдаче и тем довольнее останется пользователь.

Теперь, наверное, еще очевиднее стала заинтересованность поисковых систем в расширении или хотя бы в удержании имеющейся у них аудитории (количество кликов по объявлениям контекста, как правило, прямо пропорционально посещаемости ресурса). А сделать они это могут только улучшая механизмы определения соответствия документов поисковым запросам (посетитель должен получить ответ на свой вопрос как можно быстрее и точнее) и ранжирования сайтов, опираясь на рассчитанную релевантность.

А что же или кто же мешает Яндексу, Гуглу и другим подвязавшимся на рынке поиска системам правильно оценивать релевантность и проводить четкое ранжирование сайтов в поисковой выдаче? Да, собственно, мы с вами и мешаем -- начинающие и продвинутые оптимизаторы, пытающиеся выдать желаемое за действительное. Что делаем мы, проводя в жизнь принципы SEO?

Некоторые пытаются обмануть поисковики, пользуясь тем, что обмануть программу не так уж и сложно, в отличии от человека. Поисковая SEO оптимизация позволяет за счет накачки текста ключевыми словами из нужных поисковых запросов (настоятельно советую пробивать актуальность используемых ключевых слов в Яндекс Вордстат) и проставления внешних ссылок на сайт с нужными анкорами (текстами ссылок) сделать страницу своего собственного ресурса гораздо более релевантной, чем она есть на самом деле. В результате мы поднимемся при ранжировании в поисковой выдаче и пользователь Яндекса или Гугла получит не совсем релевантный ответ на свой вопрос.

Понятно, что такой расклад никак не устраивает ни Яндекс ни Гугл, а следовательно они будут обязательно бороться с такими методами повышения релевантности и позиций при ранжировании. Причем, чем сильнее и наглее вы будете обманывать поисковик, тем сильнее и ощутимее он может вас пнуть (пессимизация, попадание под фильтр и, наконец, бан).

1.Особенности современного ранжирования и определения релевантности у поисковых машин

релевантность ранжирование поисковый машина

Как известно, в рунете доминируют две поисковые системы -- Яндекс и Google. Рамблер и поиск от Mail.ru на данный момент можно не брать в расчет, тем более, что Rambler сейчас использует поисковый движок Яндекса, а Mail.ru, хоть и отъедает порядка пяти-семи процентов от общего рынка поиска в рунете, но при этом доля этого поисковика неуклонно снижается.

В связи с этим давайте посмотрим, какие же формулы определения релевантности используют эти два основных игрока рынка поиска в рунете:

Яндекс использует формулу ранжирования основанную на системе машинного обучения под названием MatrixNet (МатриксНет). В MatrixNet построением формулы релевантности занимается алгоритм, которому на вход подаются оценки сделанные специальными людьми (асессорами Яндекса).

Эти самые асессоры выносят оценки определенному количеству сайтов по определенному количеству поисковых запросов -- таким образом осуществляется обучение алгоритма, который подробно изучает помеченные асессорами хорошие и плохие сайты, выделяет факторы, по которым можно их ранжировать и уже потом, опираясь на эти самые факторы, сам пытается отделить зерна от плевел в масштабах всего рунета.

При определении релевантности в Яндексе учитывается более 400 факторов ранжирования. Причем, эти факторы могут учитываться как отдельно, так и в качестве мономов (произведение нескольких факторов). Следовательно, если один из факторов в мономе будет нулевой, то он может свести на нет и влияние других, не нулевых факторов. Т.о. мы должны понимать, что не возможно однобокое продвижение -- сейчас работает только комплексная раскрутка сайта по всем возможных факторам.

Что примечательно, в Яндексе используются отдельные формулы для полутора десятков крупных городов России, отдельные формулы для стран СНГ (Белоруссия, Казахстан и Украна) и Турции. Т.о. алгоритм, используемый в Яндексе для ранжирования сайтов, работает в автоматическом режиме, однако иногда используются и полуавтоматические и ручные действия, направленные на корректировку поисковой выдачи в сторону повышения ее релевантности.

Информации по типу используемой формулы релевантности в Google гораздо меньше, чем в Яндексе. Не совсем ясно, какая именно формула используется в Гугле -- ручная или самообучающийся автоматический алгоритм на вроде MatrixNet. По слухам, Google все же использует ручную формулу ранжирования, аргументируя это тем, что результаты выдачи автоматической формулы иногда могут быть непредсказуемыми (чем, собственно, славится Яндекс).

По отрывочным сведениям можно сделать вывод, что поиск Google так же использует большое количество факторов ранжирования, но тем не менее несколько меньшее, чем Яндекс. Речь идет о паре сотен факторов, данный поисковик имеет отдельные формулы релевантности для разных стран. Внутри же стран разбиения по регионам (как в Яндексе) отсутствует. По крайней мере это можно с точностью сказать применительно к рунету.

Ну, а теперь давайте попробуем разделить факторы ранжирования используемые поисковыми системам на группы:

Внутренние факторы, которые можно подразделить на три категории:

Текстовое ранжирование -- насколько текст документа соответствует запросу пользователя

Качество контента -- насколько данный текст уникален (авторский ли он), насколько он грамотный с точки зрения русского языка и насколько он близок к естественному (переоптимизированный текст):

Уникальный контент -- скопирован ли текст с других сайтов (copypast) или же написан вами или профессиональным копирайтером

Вторичность контента -- недавно Яндекс предоставил в режиме альфа тестирования вебмастерам возможность застолбить за собой авторство на контент, путем добавления текста в соответствующую форму панели Яндекс Вебмастера. Т.о. вас признают автором текста, а все дубли статьи, разошедшиеся по интернету, будут играть уже не во вред, а на пользу вашему сайту. Т.е. копирование вашей статьи будет говорить о добавлении вам авторитетности и, грубо говоря, может быть приравнено к проставленной на вас ссылке.

Естественность контента -- с помощью математической лингвистики поисковик считает количество вхождений частей речи и сопоставляет его со средним значением по всей остальной базе текстов, которая у него имеется (по корпусу проиндексированных документов). Математика - с помощью нее легко можно будет определить неестественность текста, при попытке искусственно повысить его релевантность лишними ключевыми словами

Ненорамативная и адалт лексика -- лучше этого избегать, ибо текст может попасть под соответствующий фильтр

Свойства самого сайта -- входят ли ключевые слова в название домена, возраст сайта и домена, количество страниц на сайте:

Возраст сайта (с момента попадания в поисковый индекс, а не с момента регистрации домена) и возраст документа, релевантность которого оценивается поисковиком. Это очень важный фактор ранжирования в Яндексе (если сайту меньше года, то он не сможет пробиться в Топ по более менее конкурентным запросам, а полную силу ресурс набирает где-то через три года), да и в Google есть похожий временной фактор, который называется песочница, когда молодые сайты не могут хорошо ранжироваться.

Формат документа, релевантность которого оценивается поисковой системой. Лучше всего и в Яндексе и в Google ранжируются обычные Html документы, а форматы Pdf, Doc и другие, хоть и индексируются поисковиками, но продвигать лучше именно страницы с Html кодом.

Использование ключевых слов в Url адресе сайта -- Яндекс и Google это очень любят и, возможно, что это не так уж и хорошо для получения релевантной выдачи, ибо наличие ключевого слова в домене не должно, в принципе, говорить о качестве сайта.

Наличие всплывающих баннеров может привести к пессимизации ресурса (понижении в позициях результата поиска за счет вычитания значения релевантности)

Плохие доменные зоны и плохие Ip адреса хостинга -- поисковики зачастую гребут всех под одну гребенку и если вам не повезло зарегистрировать домен в заспамленной доменной зоне или же не повезло купить дешевый или получить бесплатный хостинг на Ip адресе, где висит еще масса ГС ресурсов, то все может быть очень и очень печально в плане плохих позиций вашего сайта в поисковых системах.

Внешние или ссылочные факторы ранжирования, которые можно разделить на две категории:

Статические факторы ранжирования, не зависящие от того, по какому именно запросу поисковик должен определить релевантность данного документа. К таким факторам можно отнести pagerank, Виц и т.п.

Динамические факторы или ссылочное ранжирование -- насколько релевантны тексты ведущих на данный документ ссылок (анкоры) тому запросу, который вводит пользователь в поисковой строке.

Пользовательские или поведенческие факторы ранжирования -- учитывается как себя ведет пользователь на странице поисковой выдачи и как он себя ведет после того, как перешел на сайт (поведение на самом сайте):

Кликабельность (CTR) вашего сайта в результатах поиска -- один из самых влиятельных поведенческих факторов ранжирования и одновременно один из самых неоднозначных, ибо если вашего сайта нет в Топе выдачи, то и кликов никаких по нему не будет, а если у вас нету кликов, то как вы попадете в топ. Все это приводит к постепенной стабилизации сайтов находящихся в Топе -- их очень сложно будет оттуда выбить именно за счет высокой кликабельности (CTR).

Посещаемость сайта -- фактор ранжирования, который может опираться на анализ и учет источников трафика на ваш сайт (поисковый трафик, переходы с закладок и др). Значимость этого фактора не так высока, как у кликабельности.

Поведение пользователей на странице -- могут учитываться активные действия пользователей на странице вашего сайта, проведенное на ней время, внутренние переходы и переходы на другие сайты.

Поисковики могут делать отдельные выборки среди всех пользователей посещающих данную страницу вашего сайта. Например, может отдельно анализироваться поведение пользователей пришедших именно по тому запросу, по которому поисковик в данный момент ранжирует ваш сайт. Может отдельно учитываться поведение пользователей отдельного региона, где вы пытаетесь продвигаться.

Для того, чтобы улучшить поведенческие факторы нужно:

Чтобы целевая страница полностью отвечала на поисковый запрос, по которому вы ее продвигаете

Желательно, чтобы целевая страница побуждала пользователя к дальнейшим действиям, будь то заказ товара в магазине или же переход к прочтению другой статьи на информационном ресурсе

Ваш сайт должен вызывать у пользователей доверие и расположение, для чего необходимо использовать уникальный и приятный дизайн, а так же стремиться к тому, чтобы как можно больше отличаться в выгодную сторону от ГС и сателитов

Сайт должен быть удобным для пользователя, ибо юзабилити способно кардинально влиять на дальнейшее поведение посетителя на вашем проекте

Нужно думать о привлекательности сниппетов, ибо они напрямую влияют на один из самых значимых поведенческих факторов ранжирования -- кликабельность сайта в результатах поиска

Страницы вашего ресурса должны одинаково хорошо отображаться во всех популярных браузерах (Mozilla Firefox, Opera, Google Chrome, Internet Explorer), иначе вы потеряете какую-то часть поведенческих факторов ранжирования от тех пользователей, которые юзают тот браузер, о котором вы не подумали при верстке

На вашем сайте не должно быть проблем с кодировкой текста

Ваш ресурс должен работать стабильно и бесперебойно, что в основном определяется качеством хостинга. Аптайм или доступность сайта можно мониторить описанными по ссылке способами.

Региональные факторы релевантности -- последнее время этот фактор очень заметен в Яндексе, когда в поисковых выдачах по какому-либо региону России отдается предпочтение сайтам относящимся именно к этому региону. Что же будет влиять на ранжирование документа в данном конкретном регионе:

Тут важен выбор правильной доменной зоны, соответствующей региону, в котором вы хотите успешно ранжироваться (для России -- зона «ru» и т.д.).

Присвоить сайту соответствующий регион в панели Яндекс Вебмастера и Гугл Вебмастера

Употреблять названия требуемого региона в текстах документов и анкорах входящих ссылок для лучшего последующего положения сайта именно в выдаче по данному конкретному региону

Стараться получать входящие ссылки с сайтов, принадлежащих к тому же самому региону, где вы хотите высоко ранжироваться

Добавить на страницы своего сайта адреса, почтовые индексы и телефоны того региона, где вы хотите принимать участие в ранжировании по нужным поисковым запросам

Запросные факторы ранжирования -- скорее всего для коммерческих и информационных запросов используются разные формулы релевантности в поисковых системах. Так же разная формула может использоваться и для различных типов запросов (навигационные, транзакционные и т.п.) и даже количество слов в запросе может влиять на тип используемой формулы.

Если сейчас и не используются на полную катушку, то вскоре обязательно будут использовать так называемые социальные сигналы (особенно в свете достигнутых договоренностей между Яндексом и Твиттером). В рунете социальные сети влияющие (если не сейчас, то в скором времени) -- это «В контакте« и Facebook. Станет ли такой влиятельной социалкой и Google+ пока не ясно, то кнопку Google+1 я бы советовал устанавливать на каждую страницу сайта вкупе с блоком «Поделиться» от Яндекса.

2.Пессимизация и фильтры при ранжировании

Все описанное выше было бы очень здорово, если бы у поисковиков не было такой вещи как пессимизация и фильтры, которые способны существенно понижать в выдаче даже высоко релевантные запросу сайты. Для чего нужны поисковикам эти инструменты?

Ну, очевидно, что для отсева различных вариантов накрутки и переспама описанных чуть выше факторов ранжирования. Те же самые тексты можно так забить ключевыми словами для якобы повышения соответствия поисковому запросу, что на документ будет наложен соответствующий фильтр, позволяющий алгоритму поисковика исключить такой документ из индекса или же серьезно понизить его релевантность. Тоже самое относится и к переспаму анкор листов и накрутке поведенческих факторов.

Пессимизация и фильтры (или бан) -- это инструменты поисковых машин для борьбы с накрутками и спамом. Поисковые системы последнее время очень сильно нацелены на то, чтобы бороться с попытками манипуляций с факторами ранжирования и попытками улучшения значения формулы релевантности. Поисковики стараются не допускать и бороться с искусственным воздействием на формулу и все используемые ими способы пессимизации можно разделить на две категории:

1. Фильтры, накладываемые еще до начала построения формулы ранжирования для вашего сайта. В этом случае поисковики снижают влияние или полностью обнуляют для вас некоторые факторы, тем самым существенно снижая ваши шансы попадания в Топ выдачи. Например, при активных попытках манипуляции с входящими ссылками на ваш сайт -- могут обнулить значение ссылочных динамических факторов (ссылочное) для вашего ресурса (не учитывать ссылки вообще).

После наложения такого предварительного фильтра, тем не менее, к вашему сайту будут применяться стандартные формулы ранжирования, но за счет нулевого (или пониженного) значения одного из факторов, место вашего ресурса в поисковой выдаче будет не соответствовать реальной релевантности документа. Пессимизация во все красе.

2. Есть фильтры, которые накладываются уже после того, как для сайта будет рассчитана формула. Но вследствие наложения фильтров рассчитанная релевантность будет понижена на определенную величину, т.е. от полученного значения для определенного документа вычитается некий штраф. К данному типу фильтров можно отнести так называемый «портяночный фильтр» Яндекса, который за переспам ключевых слов в контенте опускал сайт довольно сильно в результатах поиска.

Давайте рассмотрим несколько примеров, показывающих, за что могут быть наложены фильтры (пессимизация):

1. Аффилированность сайтов -- иногда оптимизаторы (или владельцы бизнеса) идут на то, чтобы захватить как можно больше мест в Топе поисковой выдачи и тем самым перехватить как можно больше целевых посетителей (потенциальных клиентов). Сделать это не так то просто, т.к. в результатах поиска обычно отображается только один документ с каждого сайта (наиболее релевантный запросу). Но выход есть.

Создается еще один или несколько сайтов помимо основного и их тоже начинают усилено продвигать по тем же поисковым запросам. В результате, в Топе результатов поиска может присутствовать несколько сайтов одного и того же владельца (фирмы). Поисковикам такая ситуация не нравится и при обнаружения такой попытки повлиять на ранжирование, поисковые системы накладывают фильтр за аффилированность, в результате действия которого в выдаче остается только один сайт, а остальные начинают считаться его зеркалом.

Что примечательно, этот фильтр работает не всегда корректно и именно благодаря ему появился способ борьбы с конкурентами, который позволяет убедить поиск в том, что ваш сайт аффилирован с сайтом вашего конкурента, но поиск предпочтет, в силу ряда причин, оставить в выдаче именно ваш ресурс, выкинув конкурента не только из Топа, но и вообще из результатов поиска по данному запросу. Как говорится, чистая победа.

Фильтр на одинаковые сниппеты -- если у нескольких сайтов в результатах поиска по определенному запросу будут до некоторой степени одинаковые сниппеты, то будет показываться только один из них. Причем, не факт, что останется более релевантный документ. Наверное, данный фильтр наиболее актуален для интернет магазинов, которые зачастую имеют одинаковые описания товаров (а они могут использоваться в качестве сниппета) взятые с сайтов производителей.

2. Фильтры за качество контента

1. Портяночный фильтр -- переоптимизированные тексты, где чрезмерно высоко количество употреблений ключевых слов. Этот фильтр зависит от конкретных запросов (в основном применяется к коммерческим) и на его наложение или неналожение может повлиять авторитетность ресурса.

Например, в случае коммерческого запроса и пятидесяти вхождений ключа в тексте документа вы гарантированно попадаете под портяночный фильтр и релевантность вашего документа уменьшится на величину штрафа (кстати, очень большого, способного отбросить сайт за первую сотню в выдаче).

Для того, чтобы исключить наложение портяночного фильтра достаточно будет:

§ избегать многократного употребления ключевых слов (не более пяти десятков в документе, а лучше половину от этой цифры)

§ не допускать концентрации ключей в конце текста (фильтр был направлен именно на Seo тексты, где все ключи собирались в самом конце текста, до которого никто из посетителей не доходил)

§ не допускать высокой концентрации ключевых слов в отдельных фрагментах текста, т.е. распределять ключи как можно равномернее

2. Фильтр за переоптимизацию -- направлен против манипулирования текстовыми факторами ранжирования и попытки оказать влияние на релевантность документа. Отличается от портяночного фильтра тем, что штраф накладывается не за количество употреблений ключевых слов в тексте.

Данный фильтр применяется практически исключительно для коммерческой выдачи и не привязывается к конкретному поисковому запросу, т.о. если этот фильтр накладывается на документ, то веб страница понижается по всем запросам, по которым она продвигалась. Причем, штраф (пессимизация) при наложении этого фильтра будет меньше, чем при наложении портяночного фильтра (пару десятков позиций, т.е. просто выкидывается сайт из топа)

3. Фильтры за вторичность (копипаст) контента

4. Фильтры за качество входящих ссылок

1. Ссылочный взрыв -- данный фильтр налагается тогда, когда резко увеличивается ссылочная масса ведущая на сайт. Данный фильтр присутствует и в Яндексе, и в Google, причем, в Гугле пессимизация за ссылочный взрыв для молодых сайтов даже более актуальна. Поэтому, если сайт вообще еще не обладает ссылочной массой, то следует ограничиться приростом ссылок, скажем, не более десяти в неделю.

2. Большое количество ссылок с плохих и ненадежных, с точки зрения поисковых систем, сайтов может привести к проблемам с ранжированием (наложению фильтра). К вопросу о пользе автоматического прогона по десяткам тысяч ГС каталогов -- несколько ссылок пойдут в плюс вашему сайту, а вот остальные могут утянуть его под фильтр за некачественную ссылочную массу и как следствие понижение в выдаче.

3. Покупные Seo ссылки -- поисковики умеют определять покупные ссылки с большой долей вероятности, но коммерческие ссылки не всегда есть зло с точки зрения поисковиков, ибо зачастую проставляются они с качественных и авторитетных ресурсов. Покупные ссылки по коммерческим запросам могут положительно влиять на ранжирование и увеличивать релевантность документа. Другое дело, когда вы попытаетесь продвигать информационные запросы при помощи покупных ссылок, то это будет просто пустая трата денег и времени. Получается своеобразный запросозависимый ссылочный фильтр.

4. Участие в линкаторах (автоматических биржах по обмену ссылками) тоже может привести к наложению фильтра и, как следствие, к понижения в выдаче.

o Размещено на Allbest.ru