Что такое рамблер 100

Что такое рамблер 100

ПечатьРегламент предоставления услуг Рамблер/Топ-100

Услуги Сервиса предоставляются на безвозмездной основе.

1. Термины и определения

Регламент – настоящий документ, устанавливающий систему правил использования Сервиса и участия в нем.

Акцепт Регламента – полное принятие условий настоящего Регламента. Любое использование Сервиса является безусловным акцептом Регламента.

Сервис – комплекс услуг и программных решений по сбору статистики посещений ресурсов в сети Интернет, формированию рейтинга ресурсов на основании их посещаемости с инструментами навигации и поиска ресурсов в рейтинге, генерированию на Ресурсе пользовательских рекомендаций, формированию статистических отчетов посещаемости ресурсов.

Владелец Сервиса – общество с ограниченной ответственностью «Рамблер Интернет Холдинг», обладающее исключительным правом на использование Сервиса.

Пользователь – физическое лицо, использующее Сервис.

Учетная запись –учетная запись Пользователя, зарегистрированного в соответствии с

Владелец Ресурса – лицо, ответственное за предоставление Ресурса Пользователям и достоверное указание его Мета- и иных данных в Сервисе.

Сайт – логически единое множество HTML-страниц.

Ресурс – логически единое множество HTML-страниц, зарегистрированное в Сервисе, с одинаковым установленным Счетчиком и единым набором метаданных.

Метаданные – набор данных, описывающих Ресурс, используемый Сервисом для организации поиска и навигации по Рейтингу. Метаданные включают в себя следующие поля:

Номер счетчика – уникальный идентификатор Ресурса, являющийся частью метаданных Ресурса.

Виджет счетчика – графический элемент Счетчика с логотипом Сервиса, задаваемый в коде Счетчика и отображающийся на страницах сайта.

Ресурс-участник – Ресурс, зарегистрированный в Сервисе и использующий услугу «Участие в Рейтинге».

Рейтинг – подсистема Сервиса, предоставляющая инструменты поиска и навигации по подмножеству Ресурсов-участников.

Регистрация Ресурса – действия Пользователя, направленные на создание в Сервисе Мета- и иных данных Ресурса.

Модерация – процесс проверки Ресурса на соответствие правилам Сервиса. Осуществляется администрацией Сервиса.

Редирект – автоматическое перенаправление Пользователя с одного веб-адреса на другой.

Технологии pop-up, pop-under – форма предоставления Пользователю информации (обычно рекламного характера) через автоматическое открытие дополнительного окна в браузере поверх остальных окон (pop-up) или под ними (pop-under).

Дорвей – сайт или веб-страница, состоящие из ключевых слов, ориентированных на определенный поисковый запрос и имеющих целью занятие высокой позиции в результатах запросов по поисковым системам. Переход на Дорвей сопровождается Редиректом на продвигаемый с помощью Дорвея Ресурс.

Линкоферма – сайт или веб-страница, созданные для увеличения индекса цитирования третьих сайтов путем размещения большого количества ссылок на них и не несущие полезного содержания.

Автосерфинг – система автоматического просмотра страниц, при котором переход со страницы на страницу осуществляется без участия Пользователя.

2. Права и обязанности сторон

2.1. Права и обязанности Владельца Сервиса.

2.1.1. Владелец Сервиса обязуется предоставлять возможность Регистрации Ресурсов в Сервисe.

2.1.3. Владелец Сервиса имеет право временно на срок до 3 (трех) месяцев приостановить предоставление Владельцам Ресурсов всех или части услуг Сервиса для оценки содержания Ресурса и анализа его статистики с соответствующим уведомлением Владельца ресурса по указанному в Учетной записи адресу электронной почты.

2.1.4. Владелец Сервиса имеет право исключать из Рейтинга Ресурсы-участники, а также изменять Метаданные Ресурсов-участников с целью (1) реализации редакционной политики Рейтинга и (2) предотвращения случаев предоставления Владельцами Ресурсов недостоверной информации о Ресурсе-участнике или наличия недостоверного или нарушающего действующее законодательство Российской Федерации, прав и законных интересов третьих лиц, а также нормы морали и нравственности содержания Ресурсов.

2.1.5. Владелец Сервиса имеет право не давать разъяснений, касающихся условий предоставления услуг Сервиса или санкций, примененных Владельцем Сервиса в отношении Ресурсов Владельца Ресурсов.

2.1.6. Владелец Сервиса оставляет за собой право в одностороннем порядке прекратить предоставление Сервиса без указания причин.

2.1.7. Владелец Сервиса не несет ответственности:

2.1.8. Владелец Ресурса подтверждает и гарантирует, что обладает дееспособностью, необходимой для использования Сервиса.

2.1.9. Владелец Сервиса имеет право осуществлять рекламную деятельность на Сервисе.

2.1.10. Владелец Сервиса имеет право направлять по электронной почте Владельцам Ресурсов информацию, имеющую отношение к Сервису.

2.1.12. Владелец Ресурса соглашается, что Владелец Сервиса имеет право отображать Статистику Ресурса, а также заголовки новостных материалов Ресурса, согласно условиям настоящего Регламента.

2.2. Права и обязанности Владельца Ресурса

2.2.1. Владелец Ресурса несет ответственность за достоверность и соответствие законодательству Российской Федерации содержания Ресурсов и Метаданных Ресурсов, а также за нарушение прав и законных интересов третьих лиц, связанное с содержанием Ресурсов и Метаданных Ресурсов.

2.2.2. Владелец Ресурса имеет право самостоятельно изменять Метаданные Ресурса, за исключением адреса Заглавной страницы Ресурса и Номера счетчика.

2.2.3. После успешного прохождения модерации возможность самостоятельного изменения следующих Метаданных блокируется:

Пользователь имеет право предложить администрации Сервиса варианты их изменения, отправив заявку в техническую поддержку Сервиса со страницы «Мои сайты».

2.2.4. Владелец Ресурса имеет право предоставить доступ к своим Ресурсам любому другому Пользователю, зарегистрированному в Rambler ID. Ответственность за любые действия (бездействие) Пользователя, получившего доступ к Ресурсу, в полном объеме несет Владелец Ресурса, включая ответственность перед Владельцем Сервиса, третьими лицами, а также ответственность за вред, причиненный самому Владельцу Ресурса.

Пользователь, получивший полный доступ к Ресурсу, приобретает возможность редактировать Метаданные Ресурса (при соблюдении п. 2.2.2. 2.2.3. Регламента);

Пользователь, получивший частичный доступ, получает возможность просматривать все статистические отчёты, доступные Владельцу Ресурса.

2.2.5. Владелец Ресурса имеет право удалить Ресурс из Сервиса. В этом случае Сервис прекращает сбор статистических данных и Ресурс прекращает участие в Рейтинге.

2.2.6. Владелец Ресурса имеет право запросить разъяснения от Владельца Сервиса, касающиеся условий предоставления услуг Сервиса или санкций, примененных Владельцем Сервиса в отношении Ресурсов Владельца Ресурсов.

3. Условия предоставления услуг

3.1.1. Рейтинг доступен всем Пользователям Сервиса.

3.1.2. Рейтинг позволяет Пользователям просматривать Метаданные и определенные статистические отчёты (см. п.3.2.2 Регламента) Ресурсов-участников.

3.1.3. Рейтинг предоставляет Пользователям инструменты навигации и поиска Ресурсов-участников.

3.1.4. Ресурсы-участники по умолчанию отображаются в Рейтинге по убыванию количества уникальных посетителей.

3.1.5. При просмотре статистики Ресурсов-участников Пользователям предоставляется возможность изменять порядок предоставления Ресурсов-участников по выбранному Пользователем правилу.

3.1.6. Любой Ресурс, удовлетворяющий требованиям к Ресурсам-участникам (см. п. 3.7 Регламента), может стать Ресурсом-участником Рейтинга.

3.1.7. Если два и более Ресурса-участника относятся к одному Сайту и попадают в одну рубрику, в Рейтинге будет отображаться только один Ресурс-участник с максимальным Индексом популярности.

3.1.8. Если на Сервисе зарегистрировано несколько Ресурсов, представляющих собой языковые версии одного Сайта, в Рейтинг будет добавлен только один (предпочтение будет отдано русскоязычному).

3.2.1. Статистика посещений предоставляется всем Ресурсам при условии размещения Счетчика на страницах Ресурса (см. п. 3.7 Регламента).

3.2.2. Если Владелец Ресурса выбрал в Личном кабинете опцию отображения Статистики «Доступно всем», то неавторизованные Пользователи и Пользователи без права доступа могут просматривать отчёты «Посещаемость» (Посетители, Визиты, Просмотры), «Популярность» (Популярность) и «Сегодня»

3.2.3. Если Владелец Ресурса выбрал в Личном кабинете опцию отображения Статистики «Закрытая», на страницах каталога будут видны:

3.2.4. Сервис предоставляет Пользователям глобальную статистику, содержащую агрегированные статистические данные всех Ресурсов.

3.3.1. На Сервисе доступен функционал, генерирующий рекомендации для Пользователей Ресурсов («Рекомендации»). Функционал Рекомендаций доступен для всех Пользователей Сервиса.

3.3.2. Рекомендации генерируются автоматически в соответствии с категориями товаров, работ, услуг или контента, доступных на Ресурсе («Объекты Рекомендаций») и отображаются Пользователям Ресурсов при просмотре информации об Объектах Рекомендаций.

3.3.3. Пользователь Сервиса обязуется предоставлять актуальные и достоверные данные об Объектах Рекомендаций, необходимые для использования соответствующего функционала.

3.3.4. Владелец Ресурса несет ответственность за достоверность и соответствие законодательству Российской Федерации Объектов Рекомендаций, а также за нарушение прав и законных интересов Пользователей Ресурсов и иных третьих лиц, связанные с предоставлением Объектов Рекомендаций посредством Ресурса.

3.3.5. Используя функционал Рекомендаций, Пользователь понимает и принимает, что Рекомендации предоставляются автоматически в режиме «как есть» на основании данных, предоставленных Пользователем. Владелец Сервиса не гарантирует, что Рекомендации будут соответствовать ожиданиям Пользователя.

3.4.1. На Сервисе доступен функционал, анализирующий популярность новостных материалов Ресурса, и ранжирующий такие новостные материалы по числу уникальных посетителей, («Гиперновости»).

3.4.2. Гиперновости доступны для просмотра Пользователям Сервиса. Для просмотра доступны обновляемые данные за последние 30 секунд, 1 минуту, 5 минут, 30 минут, 1 час.

3.4.3. Если Владелец Ресурса включил в Личном кабинете опцию «Гиперновости», то заголовки новостных материалов такого Ресурса будут ранжироваться и отображаться в функционале Гиперновости.

3.4.4. Владелец Ресурса самостоятельно несет ответственность за содержание новостных материалов Ресурса (включая их заголовки), ранжируемых в функционале Гиперновости.

3.4.5. Используя функционал Гиперновости, Владелец Ресурса и Пользователь понимают и принимают, что Гиперновости предоставляются «как есть». Владелец Сервиса не гарантирует, что Гиперновости будут соответствовать ожиданиям Владельца Ресурса и/или Пользователя.

3.5. Регистрация ресурса

3.5.1. Любой Пользователь, зарегистрировавший Учетную запись может добавить в Сервис Ресурс. После добавления Ресурса такой Пользователь приобретает статус Владельца Ресурса.

3.5.2. Для добавления Ресурса Пользователь должен заполнить поля «Адрес Заглавной страницы сайта» и «Название сайта». Остальные поля заполняются факультативно.

3.5.3. По завершении Регистрации Ресурса ему присваивается уникальный идентификатор – Номер счетчика.

3.5.4. Владелец Ресурса не может самостоятельно изменять Адрес Заглавной страницы Ресурса.

3.5.5. Для изменения Адреса Заглавной страницы Ресурса необходимо воспользоваться процедурой Изменения существенных данных (п. 3.5 Регламента).

3.5.6. В случае если для Ресурса в течение 9 (Девяти) календарных дней не было зафиксировано ни одного посещения Пользователями, Ресурсу присваивается статус «Удален» (см. п.2.2.5 Регламента). При этом Владелец Сервиса уведомляет по электронной почте Владельца Ресурса о возможном удалении Ресурса после 3 (Трех) дней, в течение которых не было зарегистрировано ни одного посещения.

3.6. Изменение существенных данных

3.6.1. В случаях, когда Владельцу Ресурса необходимо изменить адрес Заглавной страницы Ресурса, Мета- или иных данных Ресурса, Владелец Ресурса должен посредством почтовой связи направить Владельцу Сервиса запрос на внесение требуемых изменений данных. Запрос должен быть подписан и завизирован уполномоченным на то лицом, содержать Номер счетчика или адрес Заглавной страницы Ресурса. Запрос должен быть направлен по адресу 117105, Москва, Варшавское ш., 9, стр. 1, БЦ «Даниловская мануфактура», корпус «Ряды Солдатенкова», Рамблер Интернет Холдинг, Руководителю Рамблер/топ-100.

3.6.2. Изменение существенных данных может быть выполнено Владельцем Сервиса по электронной заявке Владельца Ресурса. В данном случае Владелец Ресурса должен добавить в исходный код Заглавной страницы Ресурса перед закрывающим тегом

Источник

Всё по полочкам: веб-аналитика с Рамблер/топ-100, часть 1

Часть первая, в которой мы рассказываем о перезапуске сервиса Рамблер/топ-100 и новом инструменте подробной иерархической аналитики «Разделы сайта».

Осенью 2016 года мы перезапустили Рамблер/топ-100 – сервис веб-аналитики и старейший каталог сайтов Рунета. С тех пор мы добавили еще несколько дополнительных возможностей, о которых хотим рассказать. Эту весну Топ-100 встретил под флагом тематической аналитики по российскому Интернету.

Вообще у перезапуска сервиса было несколько задач. Во-первых, устаревшие и затратные в поддержке компоненты мы меняли на современные и более стабильные. Во-вторых, давно пора было освежить внешний вид — теплый ламповый дизайн старого Топ-100 отдавал началом нулевых. В-третьих, нужно было пересмотреть функционал счётчика и аналитического интерфейса, дополнив его новыми возможностями.

Принимаясь за работу над новой версией Топ-100, мы обратились за консультацией к нашим коллегам: аналитикам, маркетологам и менеджерам. Они, как целевая аудитория сервиса, своими предложениями и замечаниями помогли сделать Топ-100 полезней и лучше. Люди этих профессий – наши самые активные и требовательные пользователи, поэтому в состав требований к MVP (Minimum viable product) вошли два важных момента: сохранение всех возможностей прошлой версии сервиса и добавление инструментов, нужных для собственных аналитических задач RAMBLER&Co.

Отчёт «Разделы сайта»

Не вспоминая об устаревшей версии, мы начнем со второй части – расскажем о трёх аналитических возможностях Топ-100, которые позволяют собирать и визуализировать данные о поведении посетителей на страницах сайта: Разделы сайта, Аналитика блоков и Параметры визитов. Конкретно в этой статье поговорим об отчёте «Разделы сайта».

Сразу оговоримся, что в статье есть примеры решения исследовательских задач и технические подробности настройки счётчика, а также примеры кода. Поэтому мы рассчитываем, что статья будет интересна как менеджерам и маркетологам, так и вебмастерам или фронтенд-разработчикам. Для тех, кто хочет знать все технические детали, делимся ссылкой на публичную документацию по настройке счётчика Топ-100. Если вам и этого мало, пишите в службу поддержки Топ-100, ответим на любые вопросы по возможностям счётчика и работе интерфейсов.

Эффективно – это сколько?

Сперва рассмотрим, с какими проблемами сталкиваются сайты и какие задачи их владельцы могут решать с помощью поведенческих отчётов Топ-100 или аналогичных инструментов. Об аналитике для интернет-магазинов написано множество статей, поэтому для разнообразия рассмотрим пример контентного проекта для школьников и родителей.

Если сильно упрощать, ключевыми продуктовыми показателями эффективности для такого проекта, помимо аудиторных, будут глубина просмотра и время, проведённое на сайте. Чем больше времени посетитель пробудет на страницах сайта и чем больше страниц посмотрит, тем больше рекламы он увидит и тем больше денег заработает сайт. Схема простая и очевидная.

Владелец нашего сайта хочет получить максимум прибыли, и его волнуют следующие вопросы о поведении пользователей на сайте:

Оцениваем посещаемость разделов сайта

Отчёт «Разделы сайта» в личном кабинете Рамблер/топ-100 может быть полезен владельцам сайтов с чёткой иерархией: например, новостных ресурсов, интернет-медиа, энциклопедий, электронных библиотек, интернет-магазинов, любых каталогов или классифайдов. Он позволяет ответить на вопрос, как выглядит посещаемость различных рубрик вашего сайта, какие разделы или страницы (например, статьи или товары), привлекают больше внимания аудитории, где посетители проводят больше времени, какой контент лучше других вовлекает аудиторию, а какие страницы или статьи лидируют по показателю отказов.

Вернёмся к нашему примеру с контентом для школьников и их родителей. Допустим, иерархия страниц сайта такая:

Для начала настроим сбор данных для отчёта. Сделать это достаточно просто: в код инициализации счётчика Топ-100 достаточно добавить параметр ‘chapters’ и передать в него значение цепочки для конкретной страницы. Значения ‘chapters’ можно указать кириллицей для простоты чтения отчёта в будущем.

Так, например, для страницы «Поступление/Выбор ВУЗа/Московский Государственный Университет» код счётчика может выглядеть так:

А для страницы «Средняя и старшая школа/Шпаргалки и решебники/Химия, 8 класс» вот так:

Отчёт «Разделы сайта» повторяет иерархию сайта и будет выглядеть так:

Таким образом, если на сайте одновременно присутствует более одной логической структуры, можно задать несколько иерархий: тогда в отчёте будет присутствовать несколько деревьев. Их может быть сколько угодно, а глубина каждого ограничена тремя уровнями. Последним (четвёртым) уровнем в отчёте всегда идёт URL размеченной страницы. Например, если мобильная версия вашего сайта находится на поддомене, вы увидите распределение между десктопной и мобильной версиями страниц.

Важно не забыть разметить сами страницы разделов и рубрик: тогда значения по этим уровням в отчёте будут учитывать все страницы внутри рубрики и разводящую страницу.

А теперь вернёмся к вопросам, на которые мы хотели получить ответ раньше. Какой раздел сейчас самый популярный? Какой контент на сайте лучше вовлекает посетителей и дольше удерживает их на сайте? Какие статьи меньше всего интересны посетителям? Как видно в примере отчёта, за выбранный временной период наибольшей популярностью пользуется раздел «Поступление», в котором по посещаемости лидирует рубрика «Репетиторы и курсы». При этом видно, что глубина просмотра заметно выше для рубрики «Выбор ВУЗа», а у страниц рубрики «Репетиторы и курсы» высокий показатель отказов: большинство посетителей читают одну страницу за визит и уходят с сайта. Это может означать, что те, кто ищут репетиторов, или быстро находят нужный им контент, или наоборот, разочарованно уходят.

Для владельца сайта эта информация может быть поводом для контентных и навигационных изменений. Например, можно добавить блок с рекомендациями для продвижения страницы рубрики «Выбор ВУЗа» и других релевантных рубрик с хорошей глубиной просмотра и средним временем. Это позволит проверить гипотезу, что подобный контент будет интересен посетителям раздела «Репетиторы и курсы», и они дольше останутся на сайте, посмотрят больше страниц, с большей вероятностью вернутся на сайт снова. На самые популярные страницы можно будет добавить больше рекламных блоков. Страницы и рубрики с самым высоким показателем отказов необходимо переработать или вовсе пересмотреть их необходимость.

Как видно из примера, отчёт «Разделы сайта» может помочь выявить проблемы в иерархической структуре сайта и сформулировать гипотезы о способах оптимизации структуры. Достаточно один раз изучить отчет, чтобы понять, какие страницы требуют «усиления» с помощью кросс-ссылок, а в каких заложен большой потенциал. Кстати, о способах оценки эффективности таких кросс-ссылок поговорим в следующей статье, где расскажем о разметке сайта Аналитикой блоков и интерпретации полученных результатов.

Источник

Что такое рейтинг Rambler Top 100?

Rambler Top 100 — сервис для мониторинга статистики и каталог ресурсов интернета.

Rambler счетчик менее популярен, чем LiveInternet или Яндекс.Метрика. Как каталог «Top 100» Рамблер популярный ресурс.

Зачем ставить Rambler счетчик на сайт?

Регистрация в Рамблер Топ 100 и получение кода счетчика

Шаг 1. Переходим по ссылке http://top100.rambler.ru/user/agreement и принимаем пользовательское соглашение. (если вас всё устраивает, конечно 🙂 )

Шаг 2. Вводим электронную почту и пароль.

Шаг 3. Активировать учётную запись. Письмо придёт на почту, которую вы указали при регистрации.

Шаг 4. Переходите в раздел « Мои сайты» (https://stat.top100.rambler.ru ) и жмёте «Добавить сайт».

Шаг 5. Вводите данные вашего сайта и кликаете на «Создать счётчик».

Шаг 6. Если вы решили, что хотите участвовать в рейтинге, то поставьте галочку.

Теперь выбор настроек для каталога. Заполните темы, тип сайта, и регион, внесите ключевые слова. От выбора этих настроек зависит то, где и как вы будете отображаться в каталоге рамблера.

Шаг 7. Выбрать отображение статистики.

Мы свою закроем. Всем, кому надо, вручную раздадим доступы. 🙂

Небольшой спойлер: как дать доступ к счётчику.

После регистрации переходим в раздел «Мои сайты» (https://stat.top100.rambler.ru ). И кликаем на шестерёнку.

Затем переходим в раздел «Доступы».

Здесь раздаёте доступ своим.

Шаг 8. Настройка виджета. Выбираем то, как виджет будет отображаться на сайте.

Шаг 9. Указать оставшиеся настройки счётчика.

Показывать в статистике данные только с указанных доменов. Можем выбрать определённые адреса, откуда будет фиксироваться статистика. Исключить указанные домены

Источник

Счётчик Топ-100 и все его секреты. Доклад с RamblerMeetup&Frontend

Меня зовут Милена Подлевских, я фронтенд-разработчик в команде Топ-100 Rambler&Co.

В этой статье расскажу про наш продукт – Счётчик Топ-100, о том, как он устроен и работает, о некоторых сложностях, с которыми мы столкнулись во время его разработки и поддержки, а также поделюсь дальнейшими планами нашей команды по развитию продукта.

Статья написана по мотивам моего выступления на митапе RamblerMeetup&Frontend, его можно посмотреть по ссылке:

Что за проект?

Rambler&Co – крупнейший в России медиахолдинг по размеру ежемесячной аудитории (свыше 168 млн пользователей), и мы также активно развиваем направления данных и технологий.

Основная экспертиза по данным сосредоточена в UserModel, который входит в департамент рекламных технологий Adtech.
В UserModel на основе полученных данных ежедневно строятся около 10 тысяч аудиторных сегментов — групп пользователей по интересам. Каждый день обучается и применяется более 800 моделей машинного обучения, на основе чего UserModel содержит около
500 млн профилей пользователей.

Продукты Топ-100

Для построения как рекламы, так и технологий на данных нужно уметь их собирать, и эту задачу как раз и решает Топ-100. Из наших продуктов я выделю самые основные:

Каталог Топ-100

Первое, о чём стоит упомянуть, – это старейший каталог Рунета. Он представляет собой списки сайтов, разделенных на категории, а также их рейтинг по этим категориям и подкатегориям.

Код для установки Счётчика Топ-100

Самым главным продуктом является Счётчик Топ-100, который собирает и отправляет все необходимые данные. На изображении выше представлен код Счётчика Топ-100, который необходимо установить на сайт для подключения нашей системы аналитики.

Интерфейс Статистики Топ-100

Для просмотра собранных данных есть интерфейс – Статистика Топ-100. В нем данные сгруппированы по отчётам и строятся по рассчитанным метрикам, для удобства анализа данных имеются также различные графики и фильтры.

Топ-100 – это достаточно крупный проект. В Рейтинге Топ-100 участвуют порядка 74 тыс. сайтов. У нас есть около 3,8 млн установленных активных счётчиков, что дает нам 200 млн просмотров за сутки и охват аудитории в 25% от всех пользователей Рунета.

История проекта

Давным-давно, в 1997 году, был выпущен первый Каталог сайтов и Рейтинг Топ-100, с чего и началась история нашего проекта. В 1998 году появился первый счётчик-картинка, позволяющий уже получать кое-какую статистику.

Вплоть до 2016 года проект развивался и частично переписывался, а в 2016 году был осуществлён перезапуск проекта, в процессе которого были полностью переписаны основные продукты.

В 2017 году было проведено много улучшений и доработок, появился первый отчёт в реальном времени, а уже в 2018 году все основные отчёты стали строиться в режиме реал-тайм.

В 2019 году из новых основных фич появилась возможность скачивать отчёт, а в 2020 году Топ-100 вошел в состав департамента рекламных технологий AdTech, где началось более плотное развитие, вследствие чего было произведено много доработок, появился Демо-сайт для новых пользователей, был обновлен Каталог, добавлены фильтры в Статистику и начался большой рефакторинг переписывания всея Статистики на TS.

Сейчас, в 2021 году, мы продолжаем расти и развиваться, делаем много внутренних улучшений и новых доработок продукта, в общем, и стали ещё плотнее заниматься Счётчиком Топ-100, про который я подробно и расскажу в своём докладе.

На рынке есть разные решения для сбора данных и аналитики сайтов, но для более детального анализа их не всегда хватает. Некоторые крупные компании при реализации своего решения могут столкнуться с разными проблемами и сложностями. Поэтому на примере уже готового решения я расскажу, с чем столкнулись мы при его разработке и поддержке.

Что же такое счетчик?

Когда я пришла в Rambler&Co, честно говоря, долго не понимала, как устроен счётчик и как он работает, старалась не касаться этого продукта и брать другие задачи, потому что он казался мне тёмным, неизведанным лесом со своими тайнами.

Мемчик в тему

На деле же оказалось не всё так страшно, и для такого решения как счётчик можно выделить основные моменты, которым он должен удовлетворять.

Потребляет мало памяти: так как счётчик — это стороннее решение, которое пользователи (т.е. владельцы сайтов) устанавливают на свой сайт, то оно должно потреблять мало памяти, чтобы не ухудшать скорость работы ресурса.

Мало весит: по этой же причине счётчик должен иметь малый вес, так как вес страниц влияет, например, на ранжирование сайта в поиске.

Быстро работает: счётчик должен быстро работать, чтобы оптимально так же быстро собирать и отправлять данные.

Не влияет на работу сайта и не мешает другим интерфейсам: такое решение не должно мешать работе сайта или же каким-либо интерфейсам, расположенным на этом сайте.

Поддерживается в старых браузерах: это требуется для того, чтобы владельцы сайтов могли узнать, какое количество пользователей со старых сайтов к ним до сих пор приходят и нужно ли поддерживать для них старые браузеры.

Поддерживает работу нескольких счётчиков на странице: несколько установленных счётчиков на одной странице должны корректно работать и не аффектить друг друга. Например, для спецпроекта помимо основного ставится отдельный счётчик, чтобы собирать данные только по этому спецпроекту.

Счётчик Топ-100

Если говорить про наш Счётчик Топ-100, то это небольшой кусок JS-кода, который пользователь ставит на свой сайт, и уже при инициализации страницы подгружается основной код Счётчика, осуществляющий всю магию.

Затем, если опустить все тонкости, Счётчик собирает данные со страницы и браузера и отправляет их дальше. В консоли разработчика можно увидеть эти отправляемые события.

Пример отправляемых запросов с Счётчика Топ-100 в браузере

Наш Счётчик позволяет отправить порядка 1,5 ПБ сырых данных, которые затем хранятся некоторое время в виде логов. А инфраструктура хранит уже около 200 ТБ обработанных данных, собранных в целом за несколько лет. Всего мы получаем около 18 тыс. событий в секунду со всех активных счётчиков.

Версии Счётчика Топ-100

Исторически сложилось так, что у нас существует несколько версий Счётчика:

kraken/top100 — самая актуальная и разрабатываемая на текущий момент версия Счётчика, которая регулярно обновляется и поддерживается. Она появилась в 2016 году и используется по сей день.

JSN — версия Счётчика на основе актуальной, отличается лишь тем, что генерирует событие просмотра страницы без использования синхронной инициализации.

Счётчик-пиксель — по сути является способом отправки просмотра страницы за счёт подгрузки пикселя на сайт, используется при отключенном JS на странице.

tesla pack.min — старая версия Счётчика, не разрабатывается, исходники хранятся в репозитории.

Версии Счётчика также различаются по синхронной и асинхронной загрузке. Синхронная — это когда сначала грузится скрипт и только потом — инициализация, асинхронная — это когда время инициализации не зависит от времени загрузки скрипта, то есть скрипт может загрузиться и после инициализации. Под инициализацией подразумевается пользовательский код, который содержит вызов конструктора Счётчика. Все версии Счётчика, кроме JCN, могут работать и синхронно, и асинхронно.

Помимо различных версий есть ещё версионирование актуального счётчика Kraken. Ниже на скрине мониторинга можно увидеть количество запросов за основным кодом Счётчика по разным его версиям.

Мониторинг. Количество отправляемых запросов за основным кодом счётчика по разным версиям

Цветами выделены различные версии счётчика Kraken, и можно заметить, что смена цвета обозначает выкатку новой версии и является показателем того, что с течением времени площадки, на которых он установлен, отправляют запросы уже за самой актуальной версией счётчика. Также можно заметить небольшую зелененькую полоску снизу – это как раз запросы старой версии счётчика, указывающие на то, что некоторые сайты до сих пор ходят за ними. Поэтому мы не можем просто спилить и перестать их поддерживать, так как практически невозможно обойти всех владельцев сайтов и попросить их актуализировать версию. Для таких площадок нам необходимо хранить и отдавать код старых счётчиков по запросу.

Отправка данных с Счётчика

Отправку данных в виде событий со Счётчика можно представить в таком упрощенном виде:

Отправка событий с Счётчика Топ-100

Сам Счётчик со страницы отправляет собранные данные и события на Nginx Kraken, который затем передаёт эти логи в Kafka и в Hadoop для дальнейшей обработки.

Архитектура

Расскажу немного про архитектуру Счётчика Топ-100. Он написан с использованием фреймворка Google Closure Library. Код сжимается с помощью Clojure Compiler. Именно такой стек позволяет достичь наименьшего размера, по сравнению с другими решениями, и за счёт этого получить вес в 142 КБ для подгружаемого кода счётчика. Также используется чистый JS с стандартом ES5 и сборщик Gulp. В дальнейшем мы планируем переписать на Docker + Webpack и обновить на стандарт ES6.

Основной момент архитектуры – счётчик состоит из модулей. Существует набор базовых модулей, которые всегда присутствуют в счётчике, а также модули, которые подгружаются при необходимости отдельно.

Архитектура Счётчика Топ-100

В базовые модули входят: модуль инициализации, ядро, транспорт и другие, а из дополнительных подгружаемых можно выделить модуль по аналитике блоков (Usability), модуль коммерции (Ecommerce) и модуль для медиа (Media), который мы сейчас разрабатываем.

Основные модули

Модуль инициализации — создает экземпляр счётчика, контролирует синхронный или асинхронный код инициализации, который должен выполняться на странице, а также регулирует работу нескольких счётчиков на странице.

Ядро — является центром всех счётчиков на странице. Важно: даже при нескольких счётчиках на странице есть только одно ядро. За счёт этого все данные собираются только один раз и уже затем отправляются на все счётчики на странице. Ядро контролирует и подключает необходимый функционал и модули, проксирует запросы от одного модуля к другому, а также контролирует очередь событий, в которой собираются запросы с весами приоритета.

Транспорт — занимается отправкой данных на сервер. Выбор метода зависит от типа события. Запросы могут отправляться тремя способами:

Beacon — этим способом отправляются данные, для которых критична скорость отправки. Это могут быть внешние переходы и пользовательская активность. Например, уходя со страницы отправляется запрос через beacon, так как он асинхронный.

POST — пост-запросами отправляются показы блоков, клики по ним, e-коммерция. Также если beacon недоступны в браузере, то пост-запросами отправляются и события перехода по внешним ссылкам, собранные на странице ссылки и активность пользователя. Также на POST могут автоматически переходить события pv с очень длинными параметрами, не умещающиеся в стандартную длину GET-пакета (около 2000 символов, зависит от возможностей браузера).

GET — всё остальное отправляется гет-запросами. Также всё отправляется гет-запросами, если браузер не поддерживает beacon и кросс-доменные пост-запросы.

Сбор данных

Какие данные собирает Счётчик? Во-первых, это данные, наиболее полезные для аналитики сайтов. Во-вторых, важно учитывать, что мы наблюдаем только за взаимодействием пользователя с контентом и собираем данные именно об этом, а не о самих действиях пользователя.

Источники данных

Для начала нужно рассказать, какие источники данных поддерживает Топ-100:

Web — десктопные и мобильные браузеры, именно на них работает наш основной JS-счётчик. В остальных случаях мы собираем статистику с помощью других решений.

AMP/Yandex Turbo — на таких страницах не работает JS, и тогда мы живём по правилам Google и Яндекса.

Мобилки — на текущий момент можем получать готовые данные через запросы к серверу, но есть планы по более подробному сбору данных с таких устройств.

ТВ — также получаем данные через запросы к серверу.

Данные по технологиям

Исходя из источников для нашей аналитики мы можем получать уже вот такой набор данных по используемым технологиям:

Устройства — мобилки/десктоп/планшеты/другие, даже в разрезе устройств.

Браузеры — версии браузеров.

ОС — Windows/Mac OS/Android/другие, с версиями.

Все эти данные получает сервер из логов запроса, например, из User-Agent, который устанавливается в header’е.

Cookies

Установленные куки позволяют идентифицировать пользователя. При запуске счётчика мы проверяем, есть ли кука, если нет, то ставим её. С её помощью мы можем определить, был пользователь на сайте или нет. Top100_id — наша first party кука.

Отправляемые события

Все собранные данные отправляются на сервер с разными типами событий.

Показ страницы

Одной из самых важных метрик являются просмотры, т.е. сколько раз была показана страница. Это событие отправляется при инициализации счётчика (для SPA есть дополнительные методы), а сами данные этого события отправляются в query-параметрах запроса. Событие называется pv и поддерживает 24 параметра, некоторые из которых обязательны и должны присутствовать всегда.

Пользовательская активность

Подсчёт пользовательской активности делится на две составляющие: подсчёт времени на странице и распределение этого времени по активным скроллам.

Подсчётом времени занимается модуль активности. Время учитывается, если пользователь проявлял какую-то активность на странице (клики, движения мышкой, скролл страницы, тачи, нажатия на клавиши), и если страница активна в данный момент (то есть при переключении вкладки время не считаем). Стоит также учесть, что после своей последней активности пользователь ещё 30 секунд считается активным.

Если нет возможности в текущем браузере следить за видимостью страницы и отправлять beacon, то активность может считаться пингами с увеличенными интервалами до 20 минут.

Активные экраны определяются с помощью разделения документа на старте на 10 частей. Так мы получаем высоту одного нормализированного участка страницы H (H = высота документа / 10). Дальше все размерности страницы (скроллы, высота документа и другие) будут измеряться этой величиной. В итоге мы всю страницу можем представить в виде последовательных блоков высоты H.

При подсчёте активности смотрим, какие именно участки страницы были активны, и записываем показатели в них. При этом при увеличении первоначальной страницы логика не меняется, мы лишь расширяем список всех блоков страницы. Если высота экрана больше высоты документа (страница занимает не весь экран), то мы шлём дефолтные 10 блоков.

Внешние переходы

Аналитика блоков

Аналитика блоков является одной из особенных разработок в нашем Счётчике и позволяет проанализировать показы и клики определённых, размеченных дата-атрибутами, блоков.

Чтобы лучше понять, как работает аналитика блоков, стоит рассмотреть её принцип работы на примере:

Панель навигации на тестовой странице

В качестве примера рассмотрим вот такую панель навигации. Так как модуль Usability подключается и подгружается по необходимости, в коде для подключения счётчика нужно указать значение родительского параметра дата-атрибута:

Значение родительского параметра дата-атрибута в коде подключения Счётчика и разметка дата-атрибутами панели навигации

Разметка дата-атрибутами осуществляется очень просто: указываются значения для родительских и дочерних элементов. Таким образом, при инициализации модуль юзабилити Счётчика пройдет по коду страницы, соберёт все дата-атрибуты с параметром, указанным в коде загрузки Счётчика, в древовидную структуру данных (родитель-ребёнок).

Отправка события bv cо Счётчика Топ-100

Далее Счётчик отправит событие bv со всеми собранными деревьями. Также он будет отправлять всю ветку дерева от ребёнка к его родителю при клике на дочерний элемент.

Отправка события cl при клике на размеченный элемент

Нужно учитывать, что если один элемент размечен двумя разными атрибутами, он отправится дважды для каждого атрибута.

Отчет по Аналитике блоков можно посмотреть у нас в Статистике Топ-100, где видно уже разобранную структуру вложенных элементов, и отображением количества показов и кликов на блоки, а также со значением CTR – отношением количества показов блока к кликам – это важный параметр для аналитики блоков.

Скрин из таблицы отчета “Аналитика блоков” в Статистике Топ-100

Данные на этом скрине с тестовой странички, специально разработанной для этого доклада, поэтому они могут быть не совсем точными.

Сплиты

Еще одной фичей Статистики Топ-100 является поддержка разбиения отчётов по сплитам.

Сплиты – это разделение всего трафика пользователей на сайте или страницах на части для возможности проверки какой-либо гипотезы.

Параметр split в коде загрузки Счётчика

Самый простой пример – синяя и красная кнопки. 50% видят синюю, 50% – красную. Чтобы проанализировать, какая кнопка лучше для страницы, можно использовать аналитику Топ-100. Для этого нужно передать в параметр split кода загрузки Счётчика название сплита.

Далее этот параметр будет отправляться при инициализации Счётчика, и затем в отчетах Статистики Топ-100 можно выбрать интересующие сплиты и сравнить статистику по ним, чтобы выбрать лучший вариант.

Выбор сплита в интерфейсе Статистики Топ-100

Все параметры и события

Я рассказала лишь про несколько событий и параметров, отправляемых со Счётчика. Всего же он поддерживает в сумме 63 параметра для различных событий и 12 различных отправляемых событий.

Метрики и отчёты

Всего из наших данных мы получаем 15 метрик, которые используются в 32 готовых отчётах в Статистике Топ-100.

А/Б-тестирование счетчика

Так как Счётчик Топ-100 стоит на огромном количестве сайтов и выкатывать какие-то серьезные доработки и изменения на всех пользователей сразу весьма рискованно, мы разработали А/Б-тестирование на самом Cчётчике.

Для этого мы используем конфиг, в котором указаны параметры эксперимента. Для каждого эксперимента выделяется количество сплитов в процентах.

Отправка параметра exp со значением эксперимента на Счётчике Топ-100

Также распределение сплита идет на все Cчётчики Топ-100, установленные на странице. Значение сплита отправляется в параметре exp при отправке события со счётчика.

Сложности, с которыми мы столкнулись

Разработка и поддержка любого проекта и продукта никогда не проходит без препятствий и сложностей. Мы с командой тоже натолкнулись на несколько подводных камней.

Adblock: блокировщики являются болью для многих продуктов, и мы не исключение. Они блокируют загрузку JS, и основной код счётчика не подгружается, из-за чего мы можем получать не все данные. В планах научить счётчик отправлять информацию о том, есть ли блокировщик на странице.

Боты: генерят много трафика, мы учимся их распознавать, на текущий момент уже есть некоторые фильтры на бэке.

Offline и потеря данных: самый частый кейс — это поездка в метро, когда сеть может пропадать, и нужно научится работать с этими моментами. Сейчас мы реализуем несколько подходов для решения этой проблемы, в числе которых дополнительные retry для событий и отправка данных асинхронно через beacon.

Дальнейшие планы команды Топ-100

В команде Топ-100 мы активно развиваем Счётчик и Статистику Топ-100. У нас большие планы, множество задач и целей. Вот некоторые из них:

Кастомные отчеты. Планируем создать более кастомизированные отчеты, чтобы наши пользователи (владельцы сайтов) могли настраивать аналитику так, как им удобно, и собирать нужный отчёт из готовых кусочков, как Lego.

Улучшение идентификации пользователей. Мы работаем над новыми способами идентификации пользователей и постепенно внедряем их, чтобы улучшить нашу аналитику.

Inapp-аналитика. Есть цель — более подробно собирать аналитику из мобильных приложений и мобильных устройств в целом.

Развитие инфраструктуры. Сейчас наиболее приоритетная цель. Чтобы снизить time to market, внедряем различные подходы, например такие, как ci/cd и feature подходы к выкаткам в прод, shift-right тестирование, a/b-тесты функционала и многое другое!

Какие итоги?

Мой доклад и подходит к концу, что же можно выделить из всего вышесказанного? Какой вывод я сделала лично для себя:

Счётчик – это не страшный тёмный лес с монстрами и тайнами. На деле всё оказалось не так сложно, все данные собираются с сайта или браузера и просто отправляются на сервер. Технологии и их выбор понятен, архитектура оптимальна и расширяема.

Но важные моменты есть у любого проекта и продукта. Для Счётчика – это параметры веса, быстродействия, возможности поддержки старых технологий и другие. Но это скорее вызов для разработчика: как оптимизировать ту или иную задачу.

Также разработка такого решения даёт много путей для развития нашего продукта, так как есть огромное количество параметров, которые можно собрать, рассчитать и дать нашим пользователям новую аналитику.

У нас есть большое количество задач, интересных идей и больших планов, так что если вам интересно, у нас открыто несколько вакансий в Топ-100, как и в других продуктах департамента рекламных технологий и Rambler&Co в целом!

На этом у меня всё, спасибо огромное, что прочитали эту статью 🙂 Подробнее с проектом Топ-100 можно ознакомиться на этом лендинге, где есть все необходимые ссылки. Новости по нашим продуктам Топ-100 вы можете читать в нашем телеграм канале.

Источник