SE::YouTube - full-fledged YouTube parser
YouTube parser overview
The YouTube search results parser. With the YouTube parser, you can get large databases of video links ready for further use. You can use queries in the same way you enter them in the YouTube search bar. Using the youtube parser, you can collect basic data on a video in multithreaded mode. And to get complete data on each video, you can use SE::YouTube::Video
A-Parser's functionality allows you to save parsing settings for the YouTube parser for further use (presets), set a parsing schedule, and much more. You can use automatic query multiplication, substitution of subqueries from files, enumeration of alphanumeric combinations and lists to get the maximum possible number of results.
Results can be saved in the format and structure you need, thanks to the built-in powerful Template Toolkit template engine, which allows you to apply additional logic to results and output data in various formats, including JSON, SQL, and CSV.
List of collected data
Data is collected from the http://www.youtube.com/ service.
- Main search results
- Link to the video
- Video title
- Video description
- Username
- Link to the preview image
- Number of views
- Video length
- Video upload date
- Number of channel subscribers
- Array of "Related queries"
- Keyword
- Link to the preview
Capabilities
- Maximum number of pages for parsing in Youtube - 50 pages
- Country selection for search
- Search by date added
- Selection of result type (videos, channels, playlists)
- Selection of video duration
- Advanced search parameters (subtitles, 3D, HD, live, Creative Commons license)
- Sorting by relevance, upload date, rating, number of views
- Additionally parses link to the video preview
- Ability to select interface language
- Ability to enable safe search
Usage scenarios
- Search, collection, and analysis of information on YouTube
Query examples
- Queries should be search phrases, for example:
Футбол
Ниагарский водопад
Speak in english
Cats and dogs
Автомобили
Query substitutions
You can use built-in macros to multiply queries, for example, we want to get a very large database of forums, specify several main queries in different languages:
forum
форум
foro
In the query format, we specify the enumeration of characters from a to zzzz, this method allows us to rotate the search results to the maximum and get many new unique results:
$query {az:a:zzzz}
This macro will create 475254
additional queries for each original search query, which in total will give 4 x 475254 = 1901016
search queries, an impressive number, but it is not a problem for A-Parser. At a speed of 2000
requests per minute, such a task will be processed in just 16
hours.
Result output options
A-Parser supports flexible result formatting thanks to the built-in Template Toolkit template engine, which allows it to output results in any form, as well as in a structured form, such as CSV or JSON.
Exporting a list of links
Links + video title + description with position output
Result format:
[% FOREACH item IN p1.serp; loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]
Example result:
1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые - В этом видео вы сможете проверить насколько вы умны. Вас ждет <b>тест</b>, состоящий из простых вопросов школьной ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Уникальный японский тест на старость мозга! Обязательно проверь себя! - Уникальный японский <b>тест</b> на старость мозга! Обязательно проверь себя! Данный <b>тест</b> разработан в Японии. Как ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Этот Простой Тест Раскроет Ваш Самый Потаенный Страх - Наше подсознание — довольно темное место, для его понимания нужны долгие годы психоанализа. И этот ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - ТЕСТ НА ПСИХИКУ/ 929 СЕКУНД СМЕХА/ЛУЧШИЕ ПРИКОЛЫ ЗА ФЕВРАЛЬ 2021 РЖАКА/ПОПРОБУЙ НЕ СМЕЙСЯ! BEST COUB - Телеграм канал: https://t.me/CrazyHumor129k НА КАНАЛЕ ВЫ НАЙДЕТЕ 929СЕКУНД ОТМЕННОГО СМЕХА ПОД ЛУЧШИЕ ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Сериал Тест на беременность 1 серия - русский сериал 2015 HD - Премьера сериала - <b>Тест</b> на беременность 1 серия - русский сериал 2015 После смерти пациентки гинеколог Наталья ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Тест! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! - <b>Тест</b>! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! Существует множество различных типов ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер - <b>Тест</b>! КАКОЕ ВЫ БОЖЕСТВЕННОЕ ЖИВОТНОЕ? Какой хищник прячется в вашей душе? Точный <b>тест</b> на характер Для того ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! - <b>Тест</b>! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! Вы часто ощущаете себя одиноко и мечтаете найти настоящую ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Пройди этот Тест и проверь своё Внимание - В этом видео мы проверим насколько развито твое внимание. Тебя ждут разные типы заданий с несколькими уровнями ...
...
Output links, titles, and descriptions in a CSV table
The built-in tools.CSVLine tool allows you to create correct tabular documents ready for import into Excel or Google Sheets.
General result format:
[% FOREACH i IN p1.serp; tools.CSVline(i.link, i.title, i.desc); END %]
File name:
$datefile.format().csv
Initial text:
Ссылка,Анкор,Сниппет
The General result format uses the Template Toolkit template engine to output the serp array in a FOREACH loop.
What is the general result format.
In the results file name, simply change the file extension to csv.
To make the "Initial text" option available in the Task Editor, you need to activate "More options". In "Initial text", we write the column names separated by commas, and make the second row empty.
Keyword competition
Saving in SQL format
Result format:
[% FOREACH p1.serp; "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '"; title _ "')\n"; END %]
Example result:
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Уникальный японский тест на старость мозга! Обязательно проверь себя!')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Этот Простой Тест Раскроет Ваш Самый Потаенный Страх')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Новый Renault Duster.Тест-драйв.Anton Avtoman.')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Тест! ЧТО ТЫ ЗА ДЕВУШКА ТАКАЯ? Кого в тебе больше ЛЕДИ или ПАЦАНКИ?')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Пройди этот Тест и проверь своё Внимание')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО!')
...
Dumping results in JSON
Results processing
A-Parser allows you to process results directly during parsing. In this section, we have provided the most popular use cases for parsing Yahoo.
Link uniqueness
Link uniqueness by domain
Domain extraction
Removing tags from video titles and descriptions
Add Results Builder and select the source from the dropdown list: $p1.serp.$i.title - Title
. Select type: Remove HTML tags
.
Add Results Builder again and select the source from the dropdown list: $p1.serp.$i.desc - Description
. Select type: Remove HTML tags
.
Download example
How to import example to A-Parser
eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
You can add Results Builder as many times as you need.
See also: Results Builder
Filtering links by inclusion
Possible settings
Parameter name | Default value | Description |
---|---|---|
Search from country | Global | Select the country from which the search is conducted |
Interface language | English | Select the interface language |
Pages count | 5 | Number of pages for parsing (from 1 to 50) |
Restricted mode | ☑ | Enable/disable SafeSearch |
Uploaded time | All time | Search by date added (All time / Hour / Today / This weak / This month / This year) |
Result type | Video | Select the type of result (Video / Channels / Playlists / Films / Show) |
Duration | All | Select the duration of the video (All / Short (~4min) / Long (~20min)) |
Features | All | Advanced search settings (subtitles, 3D, HD, live, Creative Commons license) |
Sort by | Relevancy | Sort by relevance, date added, rating, number of views (Relevancy / Uploaded date / Views count / Rating) |