Skip to main content

SE::Google::KeywordPlanner::SearchVolume - оценка количества запросов и других показателей ключевых слов из Google Keyword Planner

Keyword Planner saved keywords

Обзор парсера SE::Google::KeywordPlanner::SearchVolume​

SE::Google::KeywordPlanner::SearchVolumeSE::Google::KeywordPlanner::SearchVolume – парсер для оценки обьемок поисковых запросов ключевых слов с Google Keyword Planner. Для использования доступно множество получаемых данных: среднее кол-во запросов в месяц, изменения в обьемах за квартал и за год, минимальная и максимальная ставка, уровень конкуренции. В настройках парсинга вы можете указать язык, локацию, рекламную сеть и период выборки данных. Также доступен пакетный режим, благодаря которому за один запрос к сервису можно получить данные сразу для 10000 ключевых слов, тем самым очень значительно ускоряя парсинг.

Благодаря многопоточной работе A-Parser'a в сочетании с пакетным ежимом, скорость обработки запросов может достигать нескольких десятков тысяч запросов в минуту.

Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Google::KeywordPlanner::SearchVolume для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных​

  • Cреднее количество запросов в месяц для искомого ключевого слова
  • Изменение за квартал
  • Изменение за год
  • Уровень конкуренции
  • Минимальная и максимальная ставки
  • Тренды поисковых обьемов за выбранный период
    • Месяц и год
    • Общее количество запросов
    • Количество запросов только с мобильных устройств (недоступно в пакетном режиме)

В результате по-умолчанию выводится ключевое слово и его среднее количество запросов в месяц. Пример:

coca-cola: 3350000
parsing: 165000
peace: 673000
starlink: 1830000
test: 7480000

Возможности​

  • Поддержка авторизации по логин-паролю или через подстановку кук и заголовков
  • Поддерживается пакетный режим, включен по-умолчанию
  • Поддержка мультиаккаунтов (для выбора нужного аккаунта обязательно должен быть указан его ocid(uscid))

Варианты использования​

  • Сбор среднего кол-во запросов в месяц, минимальных и максимальных ставок, оценка конкуренции
  • Анализ трендов

Настройка​

Существует два варианта настройки парсера:

  • указать эл. почту\пароль от аккаунта Keyword Planner
  • авторизоваться в браузере и скопировать нужные значения
danger

Относитесь с осторожностью к количеству потоков. Рекомендуется указывать небольшое кол-во потоков, при этом вполне возможен парсинг без прокси.

Авторизация через почту и пароль​

Нужно переопределить опции E-mail и Password, указав данные от вашего аккаунта Keyword Planner. На аккаунте обязательно должна быть создана кампания.

Спойлер: (Решение) Login failed TypeError: Cannot read property '1' of null

В случае возникновения данной ошибки вам нужно удалить свой аккаунт Google из браузера и залогиниться заново.

решение ошибки авторизации

Авторизация в браузере и подстановка заголовков в парсер​

Необходимо авторизоваться в браузере по ссылке https://ads.google.com/aw/keywordplanner/home, создать первую кампанию, если ранее не было, взять следующие данные и указать их в настройках парсера:

  • Значение куки __Secure-3PSID
  • Значение заголовка x-framework-xsrf-token
  • Значение параметра ocid или uscid из урла
  • Значение параметра authuser из урла
Спойлер: Как найти необходимые параметры

где искать параметры для авторизации 1

где искать параметры для авторизации 1

Запросы​

В качестве запросов нужно указывать ключевые слова, по одному КС на строку. Пример запросов:

coca-cola
parsing
peace
starlink
test

Поддерживается пакетный режим, который активируется опцией Bulk (packet) mode. В этом режиме парсер в запросе к сервису будет отправлять пакеты по 10000 КС. В этом режиме не собираются данные о количестве запросов с мобильных устройств ($trends.$i.mobile). Пакетный режим включен по-умолчанию.

Подстановки запросов​

Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:

fantasy
tower defense
rpg

В формате запросов укажем макрос подстановки дополнительных слов из файла keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:

{subs:keywords} $query

Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.

Например, если в файл keywords.txt будет содержать: 

free
online

В итоге макрос подстановок превратит 3 основных запроса в 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Варианты вывода результатов​

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.

Вывод в таблицу CSV​

Общий формат результата:

[% tools.CSVline(query, p1.volume, p1.min_bid, p1.max_bid) %]

Имя файла:

$datefile.format().csv

Начальный текст:

Keyword,Volume,"Min bid","Max bid"
tip

В Общем формате результатов применяется шаблонизатор Template Toolkit и инструмент tools.CSVline()для вывода данных.
Что такое общий формат результатов.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Сохранение в формате SQL​

Формат результата:

[% "INSERT INTO volumes VALUES('" _ query _ "', '" _ p1.volume _ "')\n" %]

Пример результата:

INSERT INTO volumes VALUES('духи', '50000')
INSERT INTO volumes VALUES('eyfel perfume', '5000')
INSERT INTO volumes VALUES('memo marfa', '5000')

Дамп результатов в JSON​

Формат результата:

[% item = {};
item.keyword = keyword;
item.volume = volume %]$item.json\n

Пример результата:

{"keyword":"духи","volume":"50000"}
{"keyword":"eyfel perfume","volume":"5000"}
{"keyword":"memo marfa","volume":"5000"}
tip

Детальнее о выводе результатов в JSON описано в этой статье.

Возможные настройки​

info

Общие настройки для всех парсеров.

ПараметрЗначение по умолчаниюОписание
Cookie "__Secure-3PSID"-Кука "__Secure-3PSID"
Header "x-framework-xsrf-token"-Заголовок "x-framework-xsrf-token"
Url parameter "ocid"("uscid")-Параметр "ocid"("uscid")
Url parameter "authuser"0Параметр "authuser"
E-mail-E-mail для авторизации в Keyword Planner
Password-Пароль для авторизации в Keyword Planner
Recovery e-mail-E-mail для восстановления доступа
Browser headless (debug auth)☑Режим headless для браузера, используемого для авторизации через логин-пароль
Log Login Screenshot (debug auth)☐Создание скриншота страницы авторизации и вывод его в лог задания
Date fromLast 12 monthsДата от
Date toLast 12 monthsДата до
LanguageEnglishЯзык
Search networksGoogleПоисковая сеть
Location code-Локация (здесь нужно указывать id локации, взять можно из первого столбика этой таблицы (копия))
Delete created plan☑Удалять созданный план
Bulk (packet) mode☑Включение пакетного режима
Last updated