Что такое парсинг ключевых слов
Как (и зачем) бесплатно парсить ключи и объявления конкурентов из Яндекс.Директ и Google Ads
Перед запуском контекстной рекламы полезно посмотреть на ключевые слова и объявления конкурентов. Так вы пополните семантику и получите новые идеи для текстов объявлений.
На примере интернет-магазина детской мебели разбираем бесплатный инструмент от PromoPult для парсинга объявлений и ключевых слов, по которым запущена реклама в вашей нише.
Для анализа контекстной рекламы конкурентов есть немало сервисов. Среди них Serpstat, Semrush, SpyWords, SpyFu. Но оплачивать подписку не всегда выгодно — например, если вам нужно лишь время от времени мониторить конкурентов или вы просто хотите сэкономить.
В PromoPult есть бесплатная альтернатива — инструмент «Слова и объявления конкурентов».
Какие задачи вы можете закрыть с помощью инструмента:
Собираем URL конкурентов
Если вы знаете основных конкурентов, запишите адреса их сайтов в XLS-файл (один адрес — одна ячейка).
Если не знаете конкурентов, вбейте в Яндексе и/или Google несколько запросов по вашей тематике и скопируйте домены магазинов из объявлений контекстной рекламы.
Мы собрали конкурентов именно так. Вот что получилось:
Разберем, как решать разные задачи с помощью парсера PromoPult.
1. Быстрый парсинг всех ключевых слов и объявлений для указанных доменов
Создайте аккаунт в системе PromoPult (или авторизуйтесь, если у вас уже есть аккаунт). Откройте инструмент «Слова и объявления конкурентов». В блоке «Добавить задачу» укажите домены конкурентов или загрузите их с помощью XLSX-файла.
Блок профессиональных настроек пока не трогаем (мы еще разберем его).
В блоке «Поисковые системы» можно выбрать, в какой поисковой системе проверять домены. По умолчанию это Яндекс и Google. Также по умолчанию стоит галочка на пункте «Результаты на едином листе XLS» — в таблице с результатами данные по всем доменам будут сведены на одном листе.
Если вы проверяете небольшое количество доменов (до 5), можете ничего не менять здесь. Если же доменов больше, уберите галочку с этого пункта. В результатах парсинга под каждый домен будет создан отдельный лист — это удобнее для анализа большого количества данных.
Жмем «Запустить проверку». Система начнет парсинг доменов (в нашем случае на это ушло 5 минут). Если у вас нет времени ждать, вы можете закрыть страницу с инструментом — все работы проводятся в фоновом режиме.
После окончания проверки вам на почту придет уведомление:
Раскройте блок «Список задач» и кликните по пиктограмме Excel-таблицы, чтобы скачать отчет. Также здесь можно удалить отчет или запустить повторный парсинг.
В настройках парсинга есть возможность выбрать отображение отчета: отдельный лист для каждого домена или все на одном листе.
В зависимости от этой настройки отчет будет выглядеть по-разному.
Отчет по каждому домену на разных листах
В нашем примере мы получили именно такой отчет. При скачивании загружается архив с файлами в формате CSV:
Что содержит архив:
Обратите внимание! При парсинге объявления собираются из результатов поисковой выдачи в таком виде, в котором они отображаются. Кроме основного текста и заголовка могут собираться уточнения, быстрые ссылки и другие расширения (если они есть в объявлении).
Данные по доменам на одном листе
При таком способе отображения отчета загружается один XLSX-файл с четырьмя листами. Даже если вы парсите 50 доменов, листов в файле все равно будет четыре. Какие это листы:
2. Находим упущенные ключевые слова
Собрать все ключи и объявления конкурентов полезно для общего анализа и понимания ситуации. Но если у вас уже запущены рекламные кампании, важно понимать другое: какие слова используют ваши конкуренты, а вы — нет.
Как это сделать
1. Подготовьте список ключевых слов, по которым у вас запущена реклама.
2. Перейдите в инструмент «Слова и объявления конкурентов». Укажите домены конкурентов (которые хотите спарсить). В блоке профессиональных настроек вставьте ключи в поле «Минус-слова».
Все слова, добавленные в поле «Минус-слова», система исключит при парсинге. В результатах будут только те ключи, которые вы еще не использовали.
Важно! В блоке профессиональных настроек парсера также есть опция «Точное вхождение без учета морфологии». Если она включена, система не будет собирать указанные ключи в базовом виде, а также с изменением падежа.
3. Запустите парсинг и скачайте результаты. На выходе вы получите готовый набор ключей, с помощью которого можете расширить семантику.
3. Исключаем из парсинга отдельные группы товаров/услуг
Ассортимент товаров или услуг конкурентов не всегда совпадает с вашим. Например, конкуренты могут предлагать дополнительные услуги, которых нет у вас. Или охватывают более широкий ассортимент.
Соответственно, в рекламных кампаниях таких конкурентов будут ключевые слова и объявления, которые не подойдут вам.
Исключите нерелевантные ключи и объявления при парсинге, чтобы получить «чистые» результаты.
Перед запуском парсинга добавьте в поле «Минус-слова» перечень товаров или услуг, которые необходимо исключить из результатов. Также исключите сущности, которые не подходят для рекламы ваших товаров: «бесплатно», «подарок», «бу» и т. д.
Снимите галочку с пункта «Точное вхождение без учета морфологии».
В нашем примере система спарсит релевантные ключевые слова, исключив фразы типа «кухни на заказ», «офисная мебель недорого», «ремонт мебели» и т. д.
4. Собираем ключевики и объявления для определенных товаров/услуг
Допустим, мы хотим собрать дополнительную семантику для группы объявлений «Детские кроватки».
В блоке профессиональных настроек (в поле «Фиксированный список слов») указываем фразу «детские кроватки» и несколько ее вариаций. Снимаем галочку с пункта «Точное вхождение» и запускаем парсинг.
Парсер соберет ключевики, подходящие для рекламы детских кроваток:
5. Выгружаем объявления и регионы показа для конкретных ключевых слов
Также с помощью инструмента «Слова и объявления конкурентов» можно спарсить объявления, которые показывают конкуренты по конкретным ключевым фразам.
Система соберет объявления конкурентов, которые показываются по заданному списку ключевиков. Проанализируйте отчет, сравните данные по показам объявлений в разных регионах, используйте идеи для создания собственных объявлений.
Парсинг завершен — что дальше?
Используйте результаты парсинга для улучшения ваших кампаний:
Несколько полезных статей по автоматизации работы с контекстом:
Парсинг семантики для контекстной рекламы: что нужно знать для начала
Для запуска поисковой контекстной рекламы необходимо создать объявления, интересные потенциальным клиентам. Чтобы вызвать интерес, нужно знать по каким запросам аудитория ищет ваш товар или услугу. Если вы указываете ключевые слова наугад, то рискуете «слить» бюджет впустую. На ручной подбор вы потратите недели и месяцы упорного труда. Оптимальным вариантом является использование парсеров и вспомогательных SEO-инструментов. Поговорим о том, как парсить ключевые фразы для контекстной рекламы.
Как работает контекстная реклама
Контекстная реклама направлена непосредственно на людей, которые искали/ищут ваш товар/услугу. Пользователь вводит запрос в поисковую строку и в первых строках выдачи видит релевантное рекламное объявление.
Объявления контекстной рекламы содержат фразы, соответствующие конкретным запросам потенциальных клиентов. Следовательно, для их создания нужно собрать ключевые слова, которые может использовать ваша целевая аудитория.
Как парсеры помогают в подборе коммерческих запросов
Парсеры – это программы или скрипты, которые автоматически собирают необходимые данные с указанных источников. Они изучают содержимое веб-страниц, выбирают нужную информацию и сохраняют в виде готового отчета.
При подборе ключевых фраз парсеры анализируют запросы пользователей в поисковых системах, тематические сайты и статистические данные. На основе анализа формируется список заданных и похожих фраз с указанием частотности показа. Из полученного перечня рекламодатель может выбрать наиболее релевантные словосочетания для создания объявлений. Рассмотрим все этапы сбора ключевых запросов.
Пошаговое руководство: как парсить ключевые слова для контекстной рекламы
Подготовку к запуску рекламной кампании в поиске начать следует с анализа вашего предложения: что вы предлагаете, почему клиентам это может быть интересно, чем вы отличаетесь от конкурентов и прочее. Эта информация поможет понять, что могут искать ваши потенциальные клиенты. Начинаем парсить.
# 1 Подбираем основные ключевые фразы
В первую очередь определяем базовые запросы. Это популярные ключевые слова, которые характеризуют ваш товар/услугу.
Для подбора базовых фраз используйте:
Учтите, что базовых запросов может быть много. Старайтесь максимально их конкретизировать и сузить. Преимущественно выбирайте ключи из 1-2 слов. Длинные фразы чаще всего используют для редких товаров, брендированных запросов или как дополнение к основным. Вместе с тем отсеивайте короткие ключи слишком общего характера, чтобы не спарсить кучу нерелевантных фраз.
Итогом этого этапа станут 5-10-20 базовых словосочетаний. Они станут «каркасом» будущего списка ключей.
# 2 Дополняем базу ключевых запросов
Для Рунета основным источником ключевых слов выступает поисковая система Яндекс и бесплатный сервис подбора слов Wordstat Yandex. Он показывает количество и частоту запросов по заданной фразе в Яндексе. Ключи отображаются в разных падежах. Дополнительно показаны похожие фразы. Фразы можно искать по регионам и типам устройств. Есть возможность просмотреть историю запроса за 2 года. При помощи специальных операторов можно максимально точно сформулировать проверяемый запрос и исключить лишние фразы.
Введите в строку ввода Яндекс.Вордстат базовый запрос из ранее созданного списка. Система выдаст все запросы за последние 30 дней. Выберите подходящие фразы. Аналогично поработайте со всеми базовыми ключами. При необходимости укажите регион поиска, тип устройства, точность словосочетания и минус-слова.
Если ниша узкая или нужно собрать максимально широкую базу ключей, дополнительно примените бесплатный Планировщик ключевых слов Google. Он показывает статистику по словам и прогнозирует эффективность ключей по заданной ставке.
Откройте Планировщик и выберите раздел «Найдите новые ключевые слова». Введите базовый запрос. Система выдаст список релевантных фраз с указанием частотности, уровня конкуренции и вариации ставок для показа. Проработайте весь список базовых ключей и выберите самые подходящие фразы.
Все собранные ключевые слова добавьте в общий Excel-файл. Однако учтите, что на этом этапе в базе могут присутствовать дубли, нерелевантные фразы, ключи с нулевой частотностью. Их нужно удалить.
Нерелевантные запросы придется удалять вручную. Для очистки семантического ядра от мусорных фраз и дублей используйте специальные инструменты. Например, бесплатный сервис от PromoPult «Нормализатор слов» автоматически чистит базу и не ограничен количеством запросов.
Собранное ядро желательно расширить дополнительными фразами. Для этого используем сторонние парсеры.
# 3 Расширяем семантику
Для расширения ядра потребуется собрать поисковые подсказки, а также «длиннохвостые» ключи. В работе пригодятся такие инструменты, как:
Выбираем подходящий сервис и проверяем фразы, собранные с помощью Вордстата и Планировщика. Изучаем ключи, полученные в результате парсинга, и наиболее релевантные добавляем в общий список.
На данном этапе у нас получится довольно большой перечень ключей. Он может содержать дубликаты фраз, словосочетания с переставленными словами и схожие словоформы. Некоторые парсеры позволяют проанализировать базу. Например, Букварикс поможет убрать из загруженного списка слов морфологические дубликаты и дубликаты-перестановки.
После завершения работы целесообразно будет проанализировать конкурентов, чтобы знать, как продвигаются они.
# 4 Парсим запросы конкурентов
По поводу парсинга ключей конкурентов для контекстной рекламы мнения специалистов противоречивы. Кто-то считает, что этот способ позволяет собрать самые оптимальные фразы для Яндекс Директ и Google Ads. Другие обоснованно полагают, что использование чужих ключевиков не всегда целесообразно.
Во-первых, вы не знаете маркетинговых целей конкурентов. Их задачи могут отличаться от ваших и не соответствовать вашей стратегии. Возможно, что цель конкурента заключается в продвижении бренда и максимальном охвате аудитории, а вам нужны реальные продажи. К тому же, вы не знаете рекламный бюджет конкурента, который может в разы отличаться от вашего.
Во-вторых, рекламу конкурента мог настроить начинающий специалист. При копировании вы можете повторить все совершенные ошибки кампании. Поэтому логично использовать запросы конкурентов для проверки своего семантического ядра.
Для анализа конкурентов пригодятся следующие инструменты:
Выберите одного или нескольких конкурентов с максимальной схожестью. Спарсите ключи, по которым они запускают контекстную рекламу. Затем сравните собранные фразы со своими ключевыми словами. Может быть, вы упустили некоторые словосочетания и сможете дополнить ими собственную семантику.
После завершения всех вышеуказанных этапов у вас будет готовая база ключевых слов для создания объявлений контекстной рекламы. Однако в ней перемешаны разные типы запросов, отличающиеся по намерениям, степени схожести и т. д. Потому заключительным этапом подбора ключей выступает создание сегментов.
# 5 Сегментируем ключевые слова для контекстной рекламы
Сегментация базы ключевых слов для контекстной рекламы подразумевает осуществление кластеризации – разбивку семантического ядра на кластеры и группирование схожих фраз. Каждый кластер объединяет похожие ключевые слова.
Используя парсеры, собрать ключевые запросы для контекстной рекламы сможет даже новичок. Чем точнее будут ваши ключи, тем эффективнее пройдет кампания. Но помните, что «волшебных» фраз не существует. Анализируйте результаты показов, выбирайте лучшие объявления и определяйте наиболее эффективные фразы для вашего бизнеса.
На сайте компании SEMANTICA вы можете заказать продвижение сайта в топ-10 Яндекса. Оставьте заявку, и мы вам перезвоним в ближайшее время.
30+ парсеров для сбора данных с любого сайта
Десктопные/облачные, платные/бесплатные, для SEO, для совместных покупок, для наполнения сайтов, для сбора цен… В обилии парсеров можно утонуть.
Мы разложили все по полочкам и собрали самые толковые инструменты парсинга — чтобы вы могли быстро и просто собрать открытую информацию с любого сайта.
Зачем нужны парсеры
Парсер — это программа, сервис или скрипт, который собирает данные с указанных веб-ресурсов, анализирует их и выдает в нужном формате.
С помощью парсеров можно делать много полезных задач:
Для справки. Есть еще серый парсинг. Сюда относится скачивание контента конкурентов или сайтов целиком. Или сбор контактных данных с агрегаторов и сервисов по типу Яндекс.Карт или 2Гис (для спам-рассылок и звонков). Но мы будем говорить только о белом парсинге, из-за которого у вас не будет проблем.
Где взять парсер под свои задачи
Есть несколько вариантов:
Первый вариант подойдет далеко не всем, а последний вариант может оказаться слишком дорогим.
Что касается готовых решений, их достаточно много, и если вы раньше не сталкивались с парсингом, может быть сложно выбрать. Чтобы упростить выбор, мы сделали подборку самых популярных и удобных парсеров.
Законно ли парсить данные?
В законодательстве РФ нет запрета на сбор открытой информации в интернете. Право свободно искать и распространять информацию любым законным способом закреплено в четвертом пункте 29 статьи Конституции.
Допустим, вам нужно спарсить цены с сайта конкурента. Эта информация есть в открытом доступе, вы можете сами зайти на сайт, посмотреть и вручную записать цену каждого товара. А с помощью парсинга вы делаете фактически то же самое, только автоматизированно.
Но если вы хотите собрать персональные данные пользователей и использовать их для email-рассылок или таргетированной рекламы, это уже будет незаконно (эти данные защищены законом о персональных данных).
Десктопные и облачные парсеры
Облачные парсеры
Основное преимущество облачных парсеров — не нужно ничего скачивать и устанавливать на компьютер. Вся работа производится «в облаке», а вы только скачиваете результаты работы алгоритмов. У таких парсеров может быть веб-интерфейс и/или API (полезно, если вы хотите автоматизировать парсинг данных и делать его регулярно).
Например, вот англоязычные облачные парсеры:
Из русскоязычных облачных парсеров можно привести такие:
Любой из сервисов, приведенных выше, можно протестировать в бесплатной версии. Правда, этого достаточно только для того, чтобы оценить базовые возможности и познакомиться с функционалом. В бесплатной версии есть ограничения: либо по объему парсинга данных, либо по времени пользования сервисом.
Десктопные парсеры
Большинство десктопных парсеров разработаны под Windows — на macOS их необходимо запускать с виртуальных машин. Также некоторые парсеры имеют портативные версии — можно запускать с флешки или внешнего накопителя.
Популярные десктопные парсеры:
Виды парсеров по технологии
Браузерные расширения
Для парсинга данных есть много браузерных расширений, которые собирают нужные данные из исходного кода страниц и позволяют сохранять в удобном формате (например, в XML или XLSX).
Парсеры-расширения — хороший вариант, если вам нужно собирать небольшие объемы данных (с одной или парочки страниц). Вот популярные парсеры для Google Chrome:
Надстройки для Excel
Программное обеспечение в виде надстройки для Microsoft Excel. Например, ParserOK. В подобных парсерах используются макросы — результаты парсинга сразу выгружаются в XLS или CSV.
Google Таблицы
С помощью двух несложных формул и Google Таблицы можно собирать любые данные с сайтов бесплатно.
IMPORTXML
Функция использует язык запросов XPath и позволяет парсить данные с XML-фидов, HTML-страниц и других источников.
Вот так выглядит функция:
Функция принимает два значения:
Хорошая новость в том, что вам не обязательно изучать синтаксис XPath-запросов. Чтобы получить XPath-запрос для элемента с данными, нужно открыть инструменты разработчика в браузере, кликнуть правой кнопкой мыши по нужному элементу и выбрать: Копировать → Копировать XPath.
С помощью IMPORTXML можно собирать практически любые данные с html-страниц: заголовки, описания, мета-теги, цены и т.д.
IMPORTHTML
У этой функции меньше возможностей — с ее помощью можно собрать данные из таблиц или списков на странице. Вот пример функции IMPORTHTML:
Она принимает три значения:
Об использовании 16 функций Google Таблиц для целей SEO читайте в нашей статье. Здесь все очень подробно расписано, с примерами по каждой функции.
Виды парсеров по сферам применения
Для организаторов СП (совместных покупок)
Есть специализированные парсеры для организаторов совместных покупок (СП). Их устанавливают на свои сайты производители товаров (например, одежды). И любой желающий может прямо на сайте воспользоваться парсером и выгрузить весь ассортимент.
Чем удобны эти парсеры:
Популярные парсеры для СП:
Парсеры цен конкурентов
Инструменты для интернет-магазинов, которые хотят регулярно отслеживать цены конкурентов на аналогичные товары. С помощью таких парсеров вы можете указать ссылки на ресурсы конкурентов, сопоставлять их цены с вашими и корректировать при необходимости.
Вот три таких инструмента:
Парсеры для быстрого наполнения сайтов
Такие сервисы собирают названия товаров, описания, цены, изображения и другие данные с сайтов-доноров. Затем выгружают их в файл или сразу загружают на ваш сайт. Это существенно ускоряет работу по наполнению сайта и экономят массу времени, которое вы потратили бы на ручное наполнение.
В подобных парсерах можно автоматически добавлять свою наценку (например, если вы парсите данные с сайта поставщика с оптовыми ценами). Также можно настраивать автоматический сбор или обновление данных по расписания.
Примеры таких парсеров:
Парсеры для SEO-специалистов
Отдельная категория парсеров — узко- или многофункциональные программы, созданные специально под решение задач SEO-специалистов. Такие парсеры предназначены для упрощения комплексного анализа оптимизации сайта. С их помощью можно:
Пройдемся по нескольким популярным парсерам и рассмотрим их основные возможности и функционал.
Парсер метатегов и заголовков PromoPult
Стоимость: первые 500 запросов — бесплатно. Стоимость последующих запросов зависит от количества: до 1000 — 0,04 руб./запрос; от 10000 — 0,01 руб.
Возможности
С помощью парсера метатегов и заголовков можно собирать заголовки h1-h6, а также содержимое тегов title, description и keywords со своего или чужих сайтов.
Инструмент пригодится при оптимизации своего сайта. С его помощью можно обнаружить:
Также парсер полезен при анализе SEO конкурентов. Вы можете проанализировать, под какие ключевые слова конкуренты оптимизируют страницы своих сайтов, что прописывают в title и description, как формируют заголовки.
Сервис работает «в облаке». Для начала работы необходимо добавить список URL и указать, какие данные нужно спарсить. URL можно добавить вручную, загрузить XLSX-таблицу со списком адресов страниц, или вставить ссылку на карту сайта (sitemap.xml).
Парсер метатегов и заголовков — не единственный инструмент системы PromoPult для парсинга. В SEO-модуле системы можно бесплатно спарсить ключевые слова, по которым добавленный в систему сайт занимает ТОП-50 в Яндексе/Google.
Здесь же на вкладке “Слова ваших конкурентов” вы можете выгрузить ключевые слова конкурентов (до 10 URL за один раз).
Подробно о работе с парсингом ключей в SEO-модуле PromoPult читайте здесь.
Netpeak Spider
Стоимость: от 19$ в месяц, есть 14-дневный пробный период.
Парсер для комплексного анализа сайтов. С Netpeak Spider можно:
Screaming Frog SEO Spider
Стоимость: лицензия на год — 149 фунтов, есть бесплатная версия.
Многофункциональный инструмент для SEO-специалистов, подходит для решения практически любых SEO-задач:
В бесплатной версии доступен ограниченный функционал, а также есть лимиты на количество URL для парсинга (можно парсить всего 500 url). В платной версии таких лимитов нет, а также доступно больше возможностей. Например, можно парсить содержимое любых элементов страниц (цены, описания и т.д.).
ComparseR
Стоимость: 2000 рублей за 1 лицензию. Есть демо-версия с ограничениями.
Еще один десктопный парсер. С его помощью можно:
Анализ сайта от PR-CY
Стоимость: платный сервис, минимальный тариф — 990 рублей в месяц. Есть 7-дневная пробная версия с полным доступом к функционалу.
Онлайн-сервис для SEO-анализа сайтов. Сервис анализирует сайт по подробному списку параметров (70+ пунктов) и формирует отчет, в котором указаны:
Анализ сайта от SE Ranking
Стоимость: платный облачный сервис. Доступно две модели оплаты: ежемесячная подписка или оплата за проверку.
Стоимость минимального тарифа — 7$ в месяц (при оплате годовой подписки).
Возможности:
Xenu’s Link Sleuth
Стоимость: бесплатно.
Десктопный парсер для Windows. Используется для парсинга все url, которые есть на сайте:
Часто применяется для поиска неработающих ссылок на сайте.
A-Parser
Стоимость: платная программа с пожизненной лицензией. Минимальный тарифный план — 119$, максимальный — 279$. Есть демо-версия.
Многофункциональный SEO-комбайн, объединяющий 70+ разных парсеров, заточенных под различные задачи:
Кроме набора готовых инструментов, можно создать собственный парсер с помощью регулярных выражений, языка запросов XPath или Javascript. Есть доступ по API.
Чек-лист по выбору парсера
Краткий чек-лист, который поможет выбрать наиболее подходящий инструмент или сервис.
Для крупных проектов, где требуется парсить большие объемы данных и производить сложную обработку, более выгодной может оказаться разработка собственного парсера под конкретные задачи.
Для большинства же проектов достаточно будет стандартных решений (возможно, вам может быть достаточно бесплатной версии любого из парсеров или пробного периода).