Мы давно следим за развитием A-Parser (a-parser.com), он появился на рынке в 2010 году и представлял небольшой набор инструментов. В то время существовало множество различных сторонних скриптов для получения SEO показателей сайтов и парсинга поисковой выдачи, приходилось собирать их по всему интернету, тестировать и дорабатывать под свои задачи, либо программировать свои. У A-Parser стояла задача объединить все эти скрипты в одном инструменте и упростить разработку новых парсеров. На наш взгляд, сейчас он является лучшим решением по автоматизации сбора данных для SEO-специалистов, с большими возможностями тонкой настройки. Мы планируем его внедрение в наш инструмент аудита сайтов. Далее познакомим вас с его возможностями. Основные особенности:
- Встроено более 90 готовых парсеров;
- Наличие API для интеграции в свои скрипты (в версии Enterprise);
- Очередь заданий и их многопоточное выполнение, что важно для загруженных сервисов;
- Высокая скорость работы;
- Подключение HTTP и SOCKS 4/5 прокси;
- В одном задании можно использовать до 20 разных парсеров для уменьшения вероятности блокировки прокси;
- Распознавание каптч, может обходить ReCaptcha2;
- Техническая поддержка и большое сообщество участников;
- Помимо веб-интерфейса, его можно установить на Windows и Linux.
Полный список внушительных возможностей смотрите на сайте.
Парсеры выдачи поисковых систем
Парсинг поисковой выдачи всегда был самой сложной задачей, поисковики постоянно совершенствуют свои фильтры для защиты от автоматических запросов. A-Parser может получать данные из многих поисковиков в обход существующих фильтров.
Основные данные, которые можно собрать: количество найденных результатов запроса; ссылки, анкоры и сниппеты выдачи; списки связанных ключевых слов. Особенно богаты функционалом парсеры выдачи Яндекс и Google (SE::Yandex и SE::Google):
- Эмуляция браузера пользователя для обхода защитных фильтров;
- Возможность обхода каптчи с помощью AntiCaptcha и других сторонних сервисов;
- Выбор для анализа десктопной или мобильной версии выдачи;
- Фильтр по региону поиска, доменному имени и другим характеристикам;
- Поддержка любых поисковых операторов в запросе, например site, inurl, lang.
С помощью парсера выдачи можно легко автоматизировать задачи сбора баз ссылок, анализа конкурентов для ключевых слов, сбора обратных ссылок, проверки индексации сайта и других специфических задач SEO мастера.
Узнать SEO показатели сайтов
С помощью парсера можно узнать многие SEO показатели сайта для его анализа, вместо сбора данных вручную с десятков специализированных сервисов. На сайте можно ознакомиться со всеми SEO метриками, которые собирает A-Parser. Помимо основных данных из поисковых систем, описанных выше, можно узнать метрики из сервисов Alexa, Ahrefs, MOZ, SEMrush, Majestic, LinkPad и других:
- Парсер Alexa Rank собирает позицию сайта в глобальном рейтинге, из какой страны идет больше всего трафика на сайт, позицию сайта в рейтинге этой страны и количество обратных ссылок;
- Парсер MOZ.com покажет популярную метрику DA (Domain Authority) - авторитет домена, рейтинг ключевых слов, оценку уровня спама, ТОП конкурентов, метрику PA (Page Authority – авторитет отдельной страницы сайта) и множество других метрик;
- Парсер LinkPad собирает подробнейшую статистику по количеству обратных ссылок;
- Парсер ahrefs.com собирает Ahrefs rank, количество обратных ссылок и процент dofollow ссылок из них, ТОП 100 обратных ссылок с описанием каждой, ТОП 5 анкоров и страниц;
- Парсер SEMrush выполняет сбор количества обратных ссылок (follow, nofollow), ссылающихся доменов и IP адресов, страницы, находящиеся в индексе Google;
- Парсер сервиса Majestic также возвращает статистику по беклинкам, общее кол-во проиндексированных страниц и популярные показатели сайта Trust Flow (TF) и Citation Flow (CF);
- Парсер MuStat получает данные о количестве посетителей сайта в день, стоимости сайта в USD и рейтинг домена.
- Проверка сайта в чёрных списках Google Safe Browsing и Yandex Safe Browsing;
- Парсер ИКС сайта (индекс качества сайта в Яндекс);
- Парсер Whois покажет дату создания и окончания срока регистрации домена, NS сервера и прочее;
- С помощью Rank::CMS можно определить более 600 видов CMS сайта по признакам.
Парсеры под любые задачи
Помимо показателей сайтов, в A-Parser можно собирать данные из социальных сетей, например парсер YouTube получает данные о видеоролике (ссылку, название, описание, ссылку на картинку, кол-во просмотров, длину видео и имя пользователя), имеет также много расширенных настроек для поиска дополнительных данных и сортировки результатов, обходит до 50 страниц за раз. Есть сборщик данных из публичных групп Telegram, а также профилей и постов из Instagram.
Разные сборщики данных с сайтов получают внутренние и внешние ссылки, email адреса, текстовый контент с функциями очистки от HTML тегов и ссылок. Есть также парсеры для Google Maps, Яндекс.Карт, Яндекс.Маркета, парсер AliExpress, картинок Google, сервисов перевода текстов и другие. Также можно заказать разработку уникального парсера под специфическую задачу.
