Парсеры данных и SEO показателей сайтов A-Parser

Мы давно следим за развитием A-Parser (a-parser.com), он появился на рынке в 2010 году и представлял небольшой набор инструментов. В то время существовало множество различных сторонних скриптов для получения SEO показателей сайтов и парсинга поисковой выдачи, приходилось собирать их по всему интернету, тестировать и дорабатывать под свои задачи, либо программировать свои. У A-Parser стояла задача объединить все эти скрипты в одном инструменте и упростить разработку новых парсеров. На наш взгляд, сейчас он является лучшим решением по автоматизации сбора данных для SEO-специалистов, с большими возможностями тонкой настройки. Мы планируем его внедрение в наш инструмент аудита сайтов. Далее познакомим вас с его возможностями. Основные особенности:

  • Встроено более 90 готовых парсеров;
  • Наличие API для интеграции в свои скрипты (в версии Enterprise);
  • Очередь заданий и их многопоточное выполнение, что важно для загруженных сервисов;
  • Высокая скорость работы;
  • Подключение HTTP и SOCKS 4/5 прокси;
  • В одном задании можно использовать до 20 разных парсеров для уменьшения вероятности блокировки прокси;
  • Распознавание каптч, может обходить ReCaptcha2;
  • Техническая поддержка и большое сообщество участников;
  • Помимо веб-интерфейса, его можно установить на Windows и Linux.

Полный список внушительных возможностей смотрите на сайте.

Парсеры выдачи поисковых систем

Парсинг поисковой выдачи всегда был самой сложной задачей, поисковики постоянно совершенствуют свои фильтры для защиты от автоматических запросов. A-Parser может получать данные из многих поисковиков в обход существующих фильтров.

Парсеры выдачи поисковых систем

Основные данные, которые можно собрать: количество найденных результатов запроса; ссылки, анкоры и сниппеты выдачи; списки связанных ключевых слов. Особенно богаты функционалом парсеры выдачи Яндекс и Google (SE::Yandex и SE::Google):

  • Эмуляция браузера пользователя для обхода защитных фильтров;
  • Возможность обхода каптчи с помощью AntiCaptcha и других сторонних сервисов;
  • Выбор для анализа десктопной или мобильной версии выдачи;
  • Фильтр по региону поиска, доменному имени и другим характеристикам;
  • Поддержка любых поисковых операторов в запросе, например site, inurl, lang.

С помощью парсера выдачи можно легко автоматизировать задачи сбора баз ссылок, анализа конкурентов для ключевых слов, сбора обратных ссылок, проверки индексации сайта и других специфических задач SEO мастера.

Узнать SEO показатели сайтов

С помощью парсера можно узнать многие SEO показатели сайта для его анализа, вместо сбора данных вручную с десятков специализированных сервисов. На сайте можно ознакомиться со всеми SEO метриками, которые собирает A-Parser. Помимо основных данных из поисковых систем, описанных выше, можно узнать метрики из сервисов Alexa, Ahrefs, MOZ, SEMrush, Majestic, LinkPad и других:

  • Парсер Alexa Rank собирает позицию сайта в глобальном рейтинге, из какой страны идет больше всего трафика на сайт, позицию сайта в рейтинге этой страны и количество обратных ссылок;
  • Парсер MOZ.com покажет популярную метрику DA (Domain Authority) - авторитет домена, рейтинг ключевых слов, оценку уровня спама, ТОП конкурентов, метрику PA (Page Authority – авторитет отдельной страницы сайта) и множество других метрик;
  • Парсер LinkPad собирает подробнейшую статистику по количеству обратных ссылок;
  • Парсер ahrefs.com собирает Ahrefs rank, количество обратных ссылок и процент dofollow ссылок из них, ТОП 100 обратных ссылок с описанием каждой, ТОП 5 анкоров и страниц;
  • Парсер SEMrush выполняет сбор количества обратных ссылок (follow, nofollow), ссылающихся доменов и IP адресов, страницы, находящиеся в индексе Google;
  • Парсер сервиса Majestic также возвращает статистику по беклинкам, общее кол-во проиндексированных страниц и популярные показатели сайта Trust Flow (TF) и Citation Flow (CF);
  • Парсер MuStat получает данные о количестве посетителей сайта в день, стоимости сайта в USD и рейтинг домена.
  • Проверка сайта в чёрных списках Google Safe Browsing и Yandex Safe Browsing;
  • Парсер ИКС сайта (индекс качества сайта в Яндекс);
  • Парсер Whois покажет дату создания и окончания срока регистрации домена, NS сервера и прочее;
  • С помощью Rank::CMS можно определить более 600 видов CMS сайта по признакам.

Парсеры под любые задачи

Помимо показателей сайтов, в A-Parser можно собирать данные из социальных сетей, например парсер YouTube получает данные о видеоролике (ссылку, название, описание, ссылку на картинку, кол-во просмотров, длину видео и имя пользователя), имеет также много расширенных настроек для поиска дополнительных данных и сортировки результатов, обходит до 50 страниц за раз. Есть сборщик данных из публичных групп Telegram, а также профилей и постов из Instagram.

Парсеры данных

Разные сборщики данных с сайтов получают внутренние и внешние ссылки, email адреса, текстовый контент с функциями очистки от HTML тегов и ссылок. Есть также парсеры для Google Maps, Яндекс.Карт, Яндекс.Маркета, парсер AliExpress, картинок Google, сервисов перевода текстов и другие. Также можно заказать разработку уникального парсера под специфическую задачу.

captcha