Обмани менЯ: теория факторов

Секреты поискового продвижения

Дата выхода в эфир : 27.05.2011

О передаче :

Комментарии :

Текст передачи :

Вопросы :

Текст 1-й части | Текст 2-й части | Текст 3-й части При перепечатке или ретрансляции материалов канала MegaIndex.TV ссылка обязательнаМихаил Сливинский: Здравствуйте, уважаемые зрители телеканала MegaIndex.tv! Рады приветствовать вас в эфире. Меня зовут Михаил Сливинский, я буду вести цикл аналитических программ на MegaIndex.tv. Во-первых, спасибо Николаю Хиврину и Наилю Байкову за предоставление площадки, возможность ведения интересных и, надеюсь, содержательных дискуссий. Смотрите, надеюсь, будет интересно и полезно.

Тема сегодняшней нашей встречи «Поведенческие факторы». Учитывают ли поисковые системы эти факторы? Если да, то как? Как поисковики с ними борются, и каковы в целом перспективы таких технологий?

С удовольствием представляю вам сегодняшнего нового собеседника. Это Станислав Ставский - аналитик, эксперт, в прошлом сотрудник многих крупных компаний, сейчас менеджер международных проектов Sape и, не побоюсь этого слова, лучший сео-аналитик в Рунете.


Станислав Ставский: Здравствуйте.


Михаил Сливинский: Стас, твое видение?

Станислав Ставский: Мы собрались сегодня здесь, чтобы поговорить о поведенческих факторах. Тема очень обширная, большая, поэтому к ней нужно организовать какой-то структурный подход. Я предлагаю начать с классификации поведенческих факторов.

Михаил Сливинский: Отлично.

Станислав Ставский: Надо сказать, что поведение пользователей – настолько богатый источник данных, что количество факторов, которые извлекаются оттуда, очень велико. Разделим эти факторы по типам.
Поведение пользователя на SERP-e поисковой системы (в результатах поиска) – это первый тип факторов, который, собственно, и старались накручивать большинство систем, занимающихся этим до недавнего времени. Второй тип факторов – это поведение пользователя на сайте.
К поведению пользователя на результатах поиска можно отнести самое простое – это CTR, время до первого клика, возвращение в результаты поиска, поведение пользователя на соседних сайтах, соседних снипетах с тем целевым, для которого мы оцениваем релевантность и так далее.
Даже из поведения на результатах поиска можно извлечь довольно большое количество факторов. Что касается поведения пользователя на сайте, оно тоже является очень богатым источником.

Михаил Сливинский: Стас, смотри, вроде бы это логично – учитывать поведение пользователей. Я подозреваю, что поисковые системы начали делать не вчера. Как ты считаешь, сколько лет примерно этим технологиям, и когда поиск мог начать учитывать это поведение?

Станислав Ставский: Первое публичное заявление о поведенческих факторах было от компании Microsoft в 2008 году, когда они опубликовали алгоритм Browse Rank. Тем не менее, я подозреваю, что Google еще задолго до этого использовал поведенческие факторы для определения трастовости сайта. То есть известный апдейт от 2004 года, который назвали Florida (Флорида), и был первой попыткой со стороны Google внедрить поведенческие факторы в ранжирование.

Михаил Сливинский: Таким образом, у поисковых систем, очевидно, довольно большой стаж работы с этими данными и, скорее всего, наработано много технологий и подходов в этой области?

Станислав Ставский: Безусловно.

Михаил Сливинский: Отлично. О них, видимо, мы и поговорим дальше.
Станислав Ставский: Я остановился на факторах, которые рассчитываются по поведению пользователя на сайтах.
Опять же, это очевидные факторы, такие как количество хитов от одного пользователя (количество просмотренных страниц), это время, проведенное пользователем на сайте, которое считается как время между кликами – первым и последним кликами на сайте. И аудитория. То есть большая постоянная аудитория на сайте – это всегда хорошо с точки зрения поведения пользователей.
Тут надо отметить, что коммерческие сайты, как правило, не имеют постоянной аудитории. Соответственно те коммерческие сайты, у которых есть эта аудитория, имеют большое преимущество по сравнению с остальными.

Михаил Сливинский: Хочется упомянуть любопытный факт, что Microsoft показала результат ранжирования сайтов по Browse Rank, как основной критерий. В топе оказываются не коммерческие сайты на уровне Adobe и Microsoft, а больше социальные сети и прочие ресурсы, на которых люди задерживаются дольше, и, поведение которых, в общем-то, подтверждает важность ресурса, да? На Adobe зашли, чтобы скачать Acrobat Reader, на Microsoft зашли, чтобы скачать заплаток, а на Facebook зашли, чтобы провести там полдня рабочего.

Станислав Ставский: Согласен. Время просмотра страницы в данном случае играет большую роль. Ну что, теперь можно рассмотреть основные особенности.

Михаил Сливинский: Да, стоит поговорить о том, как работают эти технологии, и возможно ли влияние на них, а самое главное нужно ли оно. Это очень актуально сейчас, потому что существует множество попыток каким-то образом манипулировать поведенческими факторами. Действительно, важный вопрос, потому что, по сути, поведенческие факторы – это один из тех немногих подходов, которые обеспечивают более или менее непредвзятое ранжирование, потому что ссылочные факторы давно заспамлены, текстовые факторы тоже спамят давно и успешно. То есть поведенческие – это те факторы, на которые поиск сейчас хотел бы опереться, поэтому ему, видимо, важно не дать их заспамить.

Станислав Ставский: Да, конечно, но я хочу сказать, что и без накруток у поведенческого фактора довольно много проблем. Это, естественно, не является панацеей от всего. Во-первых, нужно сказать, что с тем же CTR-ом есть положительная обратная связь. Грубо говоря, чем больше у вас CTR, тем выше сайт в результатах поиска, тем больше у него CTR и т.д. и т.п. Соответственно, алгоритмы предотвращения этой положительно-обратной связи не тривиальны, то есть это одна из проблем, которую нужно учитывать, говоря об особенностях поведенческих факторов.
Михаил Сливинский: Мы можем предположить, что учет поведенческих факторов ранжирования должен быть связан с учетом других факторов, как это обычно бывает, это мономы какие-то, да?

Станислав Ставский: Тут надо знать следующее: мы говорим «время просмотра сайта, количество просмотренных страниц», но может быть и такое, что пользователь после первого же просмотра нашел ответ на свой вопрос на этом сайте. И получается, что время, которое он провел на сайте, очень небольшое, количество просмотренных страниц = 1, а сайт и документ, тем не менее, релевантны. Что же тут делать, как тут быть? Очевидно, что в данном случае нельзя напрямую учитывать такие факторы, как время, проведенное на странице, количество просмотренных страниц, не должно быть прямой зависимости: чем больше, тем лучше сайт, выше. Что поисковые системы в этом случае делают? Они, как правило, используют совокупности факторов. К примеру, пользователи не возвращаются на SERP обратно, при этом просматривают одну страницу и проводят на сайте мало времени. Это может говорить о том, что пользователь находит свой ответ на сайте сразу после того, как перешел из SERP-a. Такой поворот событий может работать в плюс.

Михаил Сливинский: В данном случае получается, что небольшое время сессии и малое количество переходов внутри сайта может говорить о том, что сайт качественный?

Станислав Ставский: Да. Вопрос в том, чтобы правильно классифицировать такие случаи, определять категории сайтов с тем или иным риелантным пользовательским поведением. Пользовательское поведение может говорить о релевантности сайта, может говорить о том, что документ не релевантен. Однако, поисковику нужно правильно уметь различать для таких классов сайтов, какие типы пользовательского поведения являются релевантными. Это тоже очень сложная задача, и алгоритмы в этом направлении также не тривиальны. Возвращаясь к началу этого вопроса, мы можем сказать, что и без накруток в поведенческих факторах есть чем заняться.

Михаил Сливинский: И, как следует по определению из нашего разговора, накрутки не могут быть простыми, поскольку сама технология учета поведенческих факторов сложна, и повлиять на нее, конечно, сложно.

Станислав Ставский: Я скажу, что до недавнего времени это было не так, были довольно простые системы, работали в плюс. Не сказать, что они рвали топы за дешево, но как-то поднимали сайт и, возможно, была даже положительная корреляция. Причем, поднимали сайт довольно примитивными методами. Практически все системы воздействовали только на первую группу поведенческих факторов, которыми мы обозначили поведение пользователя в результатах поиска, а именно на SERPe CTR и конкретно CTR. Тем не менее, никаких негативных эффектов от этого замечено до недавнего времени не было, согласись.

Михаил Сливинский: Ну, в общем, да. Я, честно говоря, не особенно занимался аналитикой именно накрутки поведенческих факторов, поскольку я этим вообще не занимаюсь. Но я слышал о недавних изменениях, о которых ты, очевидно, хочешь рассказать подробно.

Станислав Ставский: Да, наверное, нужно остановиться поподробнее на недавнем апдейте Яндекса, а конкретно на 21 мая. Насколько я помню, 21 мая какая-то секта обещала конец света, который не произошел, но, можно сказать, произошел в отдельном взятом поисковике для отдельно взятых сайтов. Что же произошло? 21 мая практически все сайты, которые накручивали пользовательские факторы, попали под фильтр. Скажем так - на них были наложены санкции со стороны поисковой системы, они все сильно упали по запросам, по которым до этого находились в топе и выше. Тут надо отметить, что это именно санкция, то есть это не обнуление поведенческих факторов, это не срезание накруток, это именно санкции. Это видно из анализа SERP-a и, соответственно, с помощью некоторых продвинутых методик это тоже можно увидеть.

Михаил Сливинский: Стас, а с твоей точки зрения поражение было подокументным либо подоменным? То есть пострадал ли сайт целиком, просел по многим запросам?

Станислав Ставский: Нет. Типичный пример – это по определенному запросу определенный документ упал на 10, 20, 30 позиций. Это позапросный фильтр, это подокументный фильтр, то есть это и документ, и запрос, соответственно, должны накручиваться. Потому что накрутка происходит в документы по определенному запросу, они связаны - запрос-документ, именно они и поражаются в ранжировании.

Михаил Сливинский: С твоей точки зрения это была какая-то автоматическая санкция? Стоит ли ждать таких в дальнейшем и регулярно, либо это было, что Google называет, Manual Action, ручное воздействие какое-то?

Станислав Ставский: Я считаю, что, безусловно, список сайтов, которые накручивали поведенческое, определялся в автоматическом режиме. Естественно, это работали какие-то скрипты. Не аналитики-же, в самом деле, лазили по логам и смотрели, да? Конечно же, нет. Скрипты определяли, какие паттерны, скорее всего, айпишники этих систем, которые накручивают, добавлялись в black-лист и пользователи (куки), которые замечены в том, что их клик пересекается с этим айпишником, они просто не учитывались. Под этим пользователем определялось, что данный сайт накручивает, после чего логично было бы просто обнулить ту накрутку, которую провели с помощью этих систем, тем не менее Яндекс предпочел провести акцию устрашения, скажем так, сильно наказав сайты за накрутку, и вплоть до того, что страдают сайты с несколькими тысячами посетителей в день. И достаточно нескольких хитов с такой системы для того, чтобы сайт потерял позицию. Однозначно Яндекс дал понять, что ему это не нравится, что он с этим будет бороться, и наказал сайты.

Михаил Сливинский: А как ты оцениваешь перспективы? Из того, что ты говоришь, следует, что сейчас есть такая полуавтоматическая система наказаний. Как ты считаешь, есть ли в арсенале Яндекса инструменты для эффективного выявления и блокирования такого рода накруток в промышленном масштабе?

Станислав Ставский: Я считаю, что да, есть. И связано это, в первую очередь, с тем, что со стороны Яндекса было бы крайне неразумно наказывать сайты, не имея у себя такой технологии, которая бы позволяла просто не учитывать накрученные клики. Почему? Потому что совсем не сложно предположить, что начнется после такого наказания. Естественно, все бросятся накручивать конкурентов. Можно сказать, эти системы, наконец-то, подзаработают немножко. Они бросятся накручивать конкурентов. Что получается у нас? Что за 1 000 рублей можно Топ-10 спокойно вынести. Яндекс этого не может допустить никоим образом. Соответственно, в дальнейшем он будет просто не учитывать накрученные клики.

Михаил Сливинский: У Яндекса есть технологическая возможность это делать, но сейчас необходимо было показать, обозначить свою позицию принципиально по этому вопросу, что делать этого не стоит.

Станислав Ставский: Да, принципиальную позицию. И все мы помним историю с окошками прокрутки, когда сайты были наказаны. В общем, что-то это напоминает.

Михаил Сливинский: Но ведь тогда это свою роль сыграло?

Станислав Ставский: Конечно.

Михаил Сливинский: Злоупотреблять этим в таких масштабах точно перестали.

Станислав Ставский: Я думаю, сейчас это свою роль сыграет. Уже сыграло.

Михаил Сливинский: Замечательно. На самом деле в этом есть позитив, потому что в арсенале оптимизаторов, веб-аналитиков, веб-мастеров существует множество совершенно белых, замечательных методов улучшения поведенческих факторов, но о них мы поговорим позже. Поэтому, здорово, если Яндекс продолжает переориентировать оптимизаторов на отказ от парадигмы ссылочного спама в пользу каких-то более белых методов. Это, на самом деле, всем лучше.

Станислав Ставский: Индустрии в целом тоже лучше.

Михаил Сливинский: Конечно. Чем меньше этой чернухи всякой, тем приятнее работать.

Станислав Ставский: Да. И тут я бы добавил: тем более не должны работать такие простые и «в лоб» методы, которые применялись системами накрутки PF. Вообще, я бы эти системы разделил на 2 типа: системы первого типа – это те, которые используют пользователи без их ведома, грубо говоря, botnet, то есть ставится какой-то специальный софт завирусованному пользователю, и он параллельно с этим пользователем ходит, что-то делает. И второй вид систем – это когда используются реальные пользователи и реализуется некая система заданий, с помощью которой раздаются задания пользователям, типа «зайдите, пожалуйста, в Яндекс по такому-то запросу, нажмите такой-то результат, там сделайте то-то, то-то, то-то, потом введите цифру с картинки и получите свои 10-50 центов».

Михаил Сливинский: За какое-то действие?

Станислав Ставский: Да не за одно, а за целый ряд действий. Допустим, за поисковую сессию, которая связана с определенным сайтом. Соответственно, система заданий – это накрутка второго типа. И, надо сказать, что обе эти системы, кроме того, что они все-таки черные, абсолютно черные. Про первый (botnet) вообще говорить не надо - это уголовная ответственность, уголовно-наказуемое дело.

Михаил Сливинский: На КибаРифе, по-моему, даже доклад сняли по этому поводу.

Станислав Ставский: Да. И система второго типа тоже определяется поисковиками довольно просто. Мы можем это продемонстрировать, если хочешь.

Михаил Сливинский: Конечно.

Станислав Ставский: Давайте продемонстрируем.

(прим: смотрите видеоролик «Поведенческие факторы» 21-ая минута)



Станислав Ставский: Возьмем известный сайт Alexa.com и введем сюда еще один известный сайт megaseo.ru. Как вы знаете, это известные накрутчики поведенческих факторов. Что мы тут видим? Зайдем «посмотреть детали» и зайдем в «clickstream». Что мы тут увидим?
(прим: во вкладке clickstream – выдача двух списков сайтов по категориям: upstream sites и downstream sites)
Что это за сайт clickfeed.ru, wmmail.ru? Если мы зайдем на эти сайты, мы увидим, что wmmail – это система раздачи заданий, а clickfeed не отвечает –видимо, закрытая система.
(прим. Страница выдачи Яндекса по запросу «clickfeed.ru megaseo.ru»)
Можно вот так поискать.

Михаил Сливинский: Сделав просто поиск в Яндексе по запросу clickfeed и megaseo, можно обнаружить, что пользователи упоминают о том, что это на самом деле система раздачи заданий, и эта система доступна только клиентам megaseo. Интересно, а что это может быть за система, доступная только для клиентов megaseo под названием clickfeed?
Станислав Ставский: Да. Зайдем еще раз на Алексу и нажмем на clickfeed, посмотрим.

Михаил Сливинский: Обращу внимание на интересную деталь: upstream sites – это те сайты, просмотр которых предшествовал просмотру megaseo.ru. Downstream – это те сайты, на которые пользователь шел после. Видим те же самые лица. По сути, понятно, что аудитория clickfeed и wmmail, напрямую связана с бизнесом megaseo, она где-то в процессе.

Станислав Ставский: Да, и это видно из свободных источников - источник Алекса, пожалуйста.

Михаил Сливинский: На этот на анализ было потрачено ровно 40 секунд, сделано на коленке, потребовал он 0 рублей 00 копеек. Понятно, что в арсенале поиска существуют более продвинутые методы.

Станислав Ставский: И гораздо более полная информация, да.

Михаил Сливинский: Предлагаешь зайти на clickfeed?

Станислав Ставский: Смотрим. Ну, да, есть какой-то clickstream. Смотрите, на третьем месте мы видим сайт vkontakte.ru. О чем это может говорить? О том, что данная система рекламируется среди определенной целевой аудитории. Скорее всего, это молодые люди, которым за радость посидеть, покликать, позарабатывать какую-то копеечку.

Михаил Сливинский: А вот эти сайты? Что это за порталы, как ты считаешь?
(прим: оставшиеся сайты на выдаче после 3-ей позиции)

Станислав Ставский: Это могут быть как сайты, которые накручиваются через эту систему, так и сайты, которые почему-то предпочитает та или иная целевая аудитория. Возьмем, к примеру, mail.ru. Может быть, там где-то реклама была или же в письмах ставили.

Михаил Сливинский: Смотри, логика может быть очень простая. Берем несколько предположительно накручиваемых сайтов разных тематик, сопоставляем с clickstream и понимаем, что если есть там пересечения, то, вполне возможно, эти ресурсы обеспечивают как раз накрутку. Логичный путь, да?

Станислав Ставский: Да. Если вы попереходите по этим сайтам сами, то, думаю, найдете еще n-ное количество примеров накруток и систем как первого, так и второго типа.

Михаил Сливинский: Очень интересная информация. Безусловно, есть, о чем поговорить и подумать. Мы на этом заканчиваем первую часть нашей программы. Дальше – больше, дальше еще интереснее. Дальше поговорим о таких серьезных вопросах, как поисковые системы могут бороться с накрутками, как это реально работает, будущее поведенческих факторов и так далее. Если времени хватит, подробно поговорим о click frod, о технологии BrowseRank. Впереди много интересных вопросов. Смотрите, не отключайтесь.


Текст 1-й части | Текст 2-й части | Текст 3-й части