Ранжирование сайтов по коммерческим запросам в Яндексе

Буквально на днях на SeoPult.TV вышла передача, в которой Михаил Сливинский и Станислав Ставский беседовали про «коммерческое ранжирование в Яндексе». Тема была мягко говоря не раскрыта, но зато упомянут очень интересный доклад Яндекса «Quality-Biased Ranking for Queries with Commercial Intent», который целиком и полностью посвящен ранжированию сайтов по коммерческим запросам.

Как и положено доклад на английском языке, но я не поленился его перевести и сделал выборку наиболее интересных моментов, коими и спешу поделиться.

Выдержки из доклада

1) Для коммерческих запросов, когда поисковые системы сталкиваются с проблемой ранжирования результатов, которые одинаково актуальны с точки зрения традиционного подхода, предлагается использовать дополнительные аспекты актуальности, которые агрегируются в одну метку коммерческой релевантности (commercial relevance), представляющей совокупное качество сайта.

2) Использование информации о качестве сайтов в ранжировании для коммерческих запросов, которые предполагают много весьма актуальных и ответов, может значительно улучшить ранжирование и увеличить пользовательское удовлетворение. Качество документа по коммерческому запросу, при условии, что документ актуально релевантен, называют коммерческой релевантностью (commercial relevance).

3) Для оценки качества сайта в запросах с коммерческими намерениями используются оценки асессоров. При использовании информации о кликах (clickthrough) или данных тулбаров (toolbar) очень трудно определить, является ли пользователь удовлетворен результатом поиска. Пользовательское поведение по запросам с коммерческим намерением может значительно меняться в зависимости от категории продукта, цены, и т. д. С другой стороны, данные тулбаров и информация о кликах (toolbar and clickthrough data) могут дать некоторую полезную информацию, поэтому эти данные доступны для асессора в процессе оценки.

4) В целях лучшей формализации процесса оценки, знак качества сайта (site quality label) разделен на несколько компонентов. Существует 4 показателя качества сайта: надежность (trustability), удобство использования (usability), качество дизайна (design quality) и качества обслуживания (quality of service).

5) Инструкция по оценке состоит из двух этапов. Во-первых, асессор должен определить, является ли документ, тематически релевантным для данного запроса (по 5-ти бальной шкале). Качество документов оценивается только для «релевантных» документов. Если документ помечен как «полезный» (useful), или «витальный» (vital), то он не рассматривается.

6) На первом этапе процесса оценки также оценивается целый ряд продуктов и услуг, предоставляемых в документе для данного коммерческого запроса. Выделяется три вида разновидностей ассортимента: малый, стандартный и большой.

7) В ходе второго этапа оценки определяется надежность, удобство использования, качество дизайна и качества обслуживания для всего рассматриваемого сайта. Надежность и качество обслуживания имеют четыре степени: спам (spam), нормальное (normal), хорошее (good), и совершенное (perfect).

Сайт будет помечен как «спам», если он не позволяет сделать покупку или получить нужную услугу (поддельный сайт). Сайты с «нормальной» маркировкой не плохи, но не отличаются от тысяч подобных коммерческих сайтов. «Хорошие» сайты предоставляют пользователям стандартный набор услуг, и наконец «совершенные» сайты являются известными лидерами рынка. Обратите внимание, что эти оценки не зависят от конкретной пары запрос-документ.

9) У удобства пользования и качества дизайна есть только три степени качества: плохой, хороший, и совершенный.

10) Веса показателей «надежности» и «качества обслуживания» имеют в 2 раза большее значение, чем веса других качественных аспектов сайта. Эти свойства более важны с точки зрения пользовательского удовлетворения, но этот выбор параметров не рассматривается как единственно возможный.

11) Список некоторых качественных характеристик, которые используются в исследованиях:

• Подробная контактная информация
• Страница компании в социальных сетях
• Отсутствие рекламы
• Количество различных товарных элементов
• Детальное описание продуктов
• Наличие службы доставки
• Наличие сапорта (электронная почта, телефон, отзывы клиентов)
• Наличие online консультации
• Скидки, акции
• Удобочитаемость доменного имени
• Средняя длина URL
• Средняя длина заголовка страницы
• Соответствие заголовка страницы и содержимого страницы
• Средняя глубина URL-пути

12) Особое внимание уделяется «Коэффициенту прерывания» (Abandonment Rate) и метрике «Количество кликов на запрос» (Clicks per Query), рассчитанные только за клики с длинной задержкой. Эти показатели являются наиболее ценными для запросов с коммерческими намерениями.

13) Будущая работа включает использование ряда оценок релевантности вместо одной агрегированной метки в процессе обучения ранга. Другой подход к дальнейшему улучшению качества коммерческого поиска является разработка новых коммерческих признаков ранжирования.

За корявый перевод извините, онлайн-переводчики пока далеки от идеала, на коррекцию итак несколько часов ушло. Оригинал вы можете скачать здесь. Формулы и графики специально не стал вставлять — кому надо все равно в оригинале будет смотреть, большинству же будет достаточно понять физический смысл и основные моменты которым необходимо уделять внимание.

Update от 05.09.2013: ребята из NetPeak сделали более качественный перевод, чем мой полу-машинный, читать здесь.