A-Parser - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Discussion in 'Услуги, Покупка и Продажа в SEO' started by Forby, 10 Aug 2012.

Thread Status:
Not open for further replies.
  1. Forby

    Forby New Member

    Joined:
    8 Aug 2012
    Messages:
    0
    Likes Received:
    1
    Reputations:
    0
    Что такое A-Parser?

    Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
    На данный момент умеет парсить:

    Поисковые системы

    • [​IMG] Google
    • [​IMG] Bing
    • [​IMG] Yahoo
    • [​IMG] Yandex
    • [​IMG] QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
    • Парсер AOL, реализованный через парсер Net::HTTP с опциями Parse custom result, Use pages и др.

    Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

    Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

    Подсказки поисковых систем

    Сервисы поиска ключевых слов

    • [​IMG] Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня.

    Подсказки поисковых систем

    • [​IMG] Подсказки и релейтед кеи Google
    • [​IMG] Подсказки и релейтед Bing
    • [​IMG] Подсказки, релейтед и трендовые кеи Yahoo
    • [​IMG] Подсказки и релейтед Yandex

    Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

    Параметры сайтов и доменов

    • SE::Google::position - проверка позиции домена по ключевому слову в гугле
    • Google PageRank - PR страниц и доменов
    • SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
    • DMOZ - наличие сайта в каталоге DMOZ
    • Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
    • Whois - дата экспайра домена
    • Bing LangDetect - проверка языка домена\ссылки
    • DNS - парсер резолвит домены в IP адреса

    Парсинг контента

    • HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
    • Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.

    Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

    Обработка и фильтрация результатов

    • [​IMG] Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
    • [​IMG] Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
    • [​IMG] Парсинг любого результата с использованием регулярных выражений.


    Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:


    • Полностью интерактивный мега-юзабильный веб интерфейс
      • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
      • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
      • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
      • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
      • Поддержка русского и английского языка
    • Огромная скорость работы
    • Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
    • Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
    • Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
    • Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki

    Wiki - дополнительная информация, инструкции и т.д.

    Скриншот интерфейса:
    [​IMG]

    На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов

    Ценовая политика

    Внимание, ценовая политика изменилась с 10.07.2012!

    Цена лицензии - 199$, первый год без абонентской платы, после первого года - 15$ / 3 месяца. Условия по абонентской плате так же распространяются и на существующих пользователей!

    Cпец предложение всем клиентам A-Parser'а - бесплатно приватные прокси на 20 потоков на 2 недели!

    Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$

    А так же A-Parser + A-Poster всего за 300$!


    Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.

    Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889

    Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала.
     
    #1 Forby, 10 Aug 2012
    Last edited by a moderator: 4 Dec 2017
    angel737 likes this.
  2. Avarong

    Avarong New Member

    Joined:
    23 May 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    впечатления о парсере

    Все свои скромные задачи по парсингу поисковиков с этим парсером решаю намного быстрее и лучше, чем самописными скриптами. Есть все большие сервисы- можно выбрать по душе) есть возможность парсить весь инет, но я не разбирался. Вообще, понять интерфейс и настроить все достаточно просто- есть необходимые примеры и, в случае чего, оперативно помогает поддержка. Все время появляются улучшения, что тоже приятно.
     
  3. lexone

    lexone New Member

    Joined:
    16 Oct 2012
    Messages:
    6
    Likes Received:
    2
    Reputations:
    0
    Всем привет!

    Не так давно, я приобрел A-parser и тщательно потестировал его на деле, теперь решил написать отзыв в благодарность за столько мощный и быстрый парсер разработчику!

    Сразу хочу сказать, парсер имеет Web интерфейс (не дескпотный, как вы все привыкли видеть) , тем самым, он может без проблем работать на линуксе и что мне само больше понравилось, Вы можете управлять им удаленно. Запуская его на впске или на любом другом сервере, вы можете, просто на просто открыть браузер на своем домашнем ПК и ввести ip адрес с портом вашей машины, где был запущен A-parser и управлять им удаленно, не входя на сам сервак, а лишь клацать в браузере и настраивать под свой лад.

    Теперь давайте перейдем к проксям. Юзая хрефер, я привык во время парсинга с ПС, одновременно парсить и чекать прокси, тем самым спасался от банов гугла и не покупал изначально дорогие элитные прокси, а юзал лишь паблик (имеется свой списочек сайтов, от куда парсю прокси). И первое чему я очень был рад в a-parsere, это наличия тех самых возможностей. Вы можете парсить ссылки с гугла (или другой ПС) и одновременно обновлять свой прокси лист. Благодаря этому, о банах гугла и яндекса можно было забыть. Чекаю пркоси в 150 потоков и через 40 минут, уже имею 900 анонимных прокси.

    А теперь к самому интересному, а именно к скорости и различных плюшек парсера. Давайте начнем со скорости. Перед уходом утром в больницу у меня был готовый список обновленных прокси, а именно1200 анонимных. Я решил поставить парсить гугл в режиме обхода 1000 ссылок. В других парсеров такого нет, на один запрос, гугл отдает лишь 1000 ссылок и использую раньше хрефер, мне приходилось убивать кучу времени на сбор дополнительных запрос, чтобы разнообразить выдачу и вытянуть как можно больше ссылок. Однако от этой проблемы я избавился в a-parsere. Так вот, поставив парсеру 700 потоков и включая обходной режим, я начал парсить. После возвращения с больницы (это заняло 2 часа), парсер уже прошуршал 65 миллионов доменов и 800к из них были уникальными. В хрефере я бы на это, потратил бы в 5 раз, а то и больше времени.

    Имея у себя в арсенале a-parser, хрефер и WebParser, я могу смело сказать, что он лучший из них.
     
  4. Avarong

    Avarong New Member

    Joined:
    23 May 2011
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    C Днем Рождения!

    Этот пост- благодарность автору за его помощь всегда непонятливым клиентам
    вроде меня в их мегапроектах для бизнеса. Прога подойдет ЛЮБОМУ вебмастеру
    или бизнесмену с этого форума, одним из ресурсов чьего бизнеса являются
    всевозможные базы данных, и желающему с максимальной скоростью получать эти
    базы из открытых источников. Автор- известный разработчик отличного ПО,
    зарекомендовавший себя на всех форумах по сео(кстати, обратите внимание на
    отзывы там(ссылки есть на сайте с а-парсером)- они полно отражают мнения
    покупателей о ПО и его авторе и их намного больше, чем здесь!).
    Проект- максимизация скорости парса одного из крупных поисковиков(я выбрал
    подходящий для себя). Благодаря подсказкам автора, был выбран хороший сервер
    с гигабитным каналом, установлено ПО и запущены процессы сбора баз.
    Итог- с 1000 http прокси, в 5000 потоков- объем парса около 130Mbit/s.
    Скрин- по ссылке ниже. За первые 10 дней половина задач у меня уже решена.
    Скорость уперлась в проц, но потенциально- неограничена!
    >"Прошёл ровно год с выхода первой бета-версии парсера"
    C Днем Рождения!)
    Всем УДАЧИ в бизнесе!!!
    http://imageshack.us/photo/my-images/818/skrinz.jpg
     
  5. Gar-ant

    Gar-ant New Member

    Joined:
    16 Jul 2012
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Отличный софт.
    Поддержка автора , радует то что задаешь вопрос и ответ почти моментально.
     
  6. Kolokos

    Kolokos Member

    Joined:
    27 Feb 2012
    Messages:
    19
    Likes Received:
    25
    Reputations:
    0
    Стал обладателем сие чудо, софт лучший среди конкурентов спору нет, спасибо автору.
     
  7. goodFood

    goodFood New Member

    Joined:
    18 Sep 2013
    Messages:
    21
    Likes Received:
    0
    Reputations:
    0
    пользуюсь уже 1 год , все замечательно , самый лучший парсер и поддержка радует оперативными ответами

    спасибо за сервис и парсер
     
  8. lexone

    lexone New Member

    Joined:
    16 Oct 2012
    Messages:
    6
    Likes Received:
    2
    Reputations:
    0
    Парсер — парсеру рознь!

    Скажу честно – вы не найдете во всем интернете парсер, который будет превосходить A-parser по скорости, многообразии обрабатываемых сайтов, и его универсальности!

    Его плюсы:

    - Собственный чекер прокси.

    1. Редко пропускает рабочие прокси, если у вас хороший интернет и мощное железо (железо для большого кол — во потоков).
    2. Очень большая многопоточность (на момент покупки а-парсера, я работал с паблик прокси, которые собирал 10 дней по всему буржнету (Китай, Индия, Usa и.т.д). Общее кол — во всех прокси достигало выборки в 500к. Благодаря этому.. я успевал их обрабатывать менее чем за час и мог парсить гугл без покупных прокси-серверов.

    - Большая база ресурсов для парсинга.

    1. Единственный парсер, где собрана такая громадная база обрабатываемых ресурсов.
    2. Нету таких чекеров-парсеров, которые созданы лишь для видимости и потом не поддерживаются разработчиком. Каждый найдет для себя что-то (от дорвейщика до белого seo-вебмастера).
    3. Большой плюс а — парсера, что он позволяет комбинировать результаты своего парсинга.
    Например:
    Pr, Тиц, кол — во страниц в яше, кол — во страниц в гугл, Alex, частотность по вордстату (любая комбинация по вашему желанию).

    - Много полезных фич

    1.SE::Yandex::Register — Регистрирует аккаунты в Yandex
    2. Rank::CMS — Определение 187 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков
    3. Rank::Category: — Автоматически определяет категорию сайта на английском языке
    4. SE::Bing::Translator — Переводчик текста через сервис www.bing.com/translator/
    5. Check::BackLink — Проверяет нахождение обратной ссылки(ссылок) по базе сайтов

    - Скорость парсинга


    Если мне нужна по настоящему отпрасить большое кол — во данных и быстро, то я отбрасываю зенку и беру только A-парсер.

    Мои результаты:

    - За 7 дней чекнуть более 148 мл.доменов на опр.признак.
    - Спарсить более 100000 разных комбинация в гугле за несколько часов и с минимальным % бана прокси (другие парсеры быстрее убивают прокси).
    - Чекнуть на тиц, pr, alex, dmoz, более 15 миллионов сайтов за 2 дня. (использовалось 5000 покупных прокси с ботнетов)
    - Спарсить более 2 миллионов кеев через вордстат и директ за день.

    - Собираем свой парсер

    Можно также написать свой собственный парсер [только для опытных юзеров]

    Например: чекер лайвинтернета или парсинг Google play. Также можно собирать свои чекеры cms по собранными вами фунтпривами.
     
  9. romantik

    romantik New Member

    Joined:
    13 May 2011
    Messages:
    0
    Likes Received:
    0
    Reputations:
    0
    Всем привет!
    Супер парсер для супер простых и мега сложных задач сеошников и дорвейщиков!
    При желании, можно спарсить весь WWW. Главное потом смочь переварить всю инфу!
    Давно, когда только приобрел a-parser, особо не въехал что к чему и малось подзабил, но со временем, когда понадобились всевозможные базы, мылы, данные о сайтах, рус и енг текстовка - то тут то Парсер и пригодился.

    На всевозможные глупые вопросы (которые по началу, думаю у многих есть) - саппорт терпеливо отвечает и разжевывает 24/7. На форуме a-parsera, куча готовых решений для всевозможных задач.

    Ни разу еще не пожалел, что у меня есть столь замечательный комбайн, вы тоже не пожалеете ни разу если он у вас будет!
     
  10. bobo2002

    bobo2002 New Member

    Joined:
    11 Jul 2010
    Messages:
    21
    Likes Received:
    1
    Reputations:
    0
    Хочу оставить отзыв

    A-Parser – это самый гибчайший парсер, который я когда-либо видел. У парсера широчайшие возможности, которые позволяют тебе спарсить все что ты хочешь.

    По парсеру есть вся документация, есть очень полезный форум с примерами и что самое главное – есть шикарная поддержка, которая терпеливо ответит на все твои вопросы и даже больше.

    Та цена, которую просит ТS за свой парсер многократно ниже чем он на самом деле должен стоить.

    И еще парсер постоянно развивается, появляются новые фишки, улучшаются старые, что очень радует.
    П
    ользуюсь парсером уже 2 года, и много раз благодарил себя за то что приобрел его в свое время не пожалев денег.

    Рекомендую всем, не сомневаясь, покупать a-parser и отдельный респект ТS за постоянную и очень квалифицированную поддержку.
     
  11. woodoo

    woodoo New Member

    Joined:
    29 Oct 2009
    Messages:
    5
    Likes Received:
    0
    Reputations:
    0
    Парсер реально крут, с помощью него решаю многие задачи
     
  12. angel737

    angel737 Member

    Joined:
    19 Sep 2012
    Messages:
    31
    Likes Received:
    6
    Reputations:
    0
    Отличное ПО. Лучший софт в своем сегменте. Однозначно стоит своих денег. Рекомендую всем кому нужен парсер на все случаи жизни. Гибкий, быстрый. Супер саппорт, прекрасная wiki. Пользуюсь почти год в направлении хакинга, очень помогает в сборе информации.
    П.С Кроcсплатформенность A-parser - особый плюс.
     
    A-Parser Sup likes this.
  13. Badax

    Badax New Member

    Joined:
    16 Sep 2012
    Messages:
    10
    Likes Received:
    0
    Reputations:
    0
    Клевый софт, купил не нарадуюсь! Парсит много уров и очень быстро! Для черного,белого SEO и хакинга подходит на все 110%. Рекомендую!
     
  14. Crytek

    Crytek New Member

    Joined:
    15 Aug 2013
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Я подружился с а-парсером еще почти с момента его зарождения, выручал уже не один раз там где требуется парсинг контента, кейвордов.
    Сделать свой парсер для сайта или новой поисковой системы отнимет считанные минуты.
    Гибкий шаблонизатор поможет вывести и отфильтровать результат парсинга в любом формате, а что непонятно подскажут на форуме.
    Это как швейцарский нож который будет полезен в любое время и в любом месте - рекомендую.
     
  15. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах


    [​IMG]


    В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


    Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


    Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


    Улучшения

    • Новый парсер [​IMG] Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
    • Новый парсер [​IMG] Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
    • Новый парсер [​IMG] SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
    • Новый парсер [​IMG] SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
    • Добавление ссылок в индекс Бинга - [​IMG] SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
    • Новый парсер [​IMG] Rank::OpenSiteExplorer::Extended - расширенная версия парсера [​IMG] Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
    • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
    • В парсере [​IMG] SE::Yandex добавлен сбор времени последнего кэширования страницы


    Исправления в связи с изменениями в выдаче

    • [​IMG] SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
    • [​IMG] SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта

    • В парсере [​IMG] Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
    • [​IMG] SE::Google::Trends - полностью обновлен парсер и список собираемых значений
    • [​IMG] Rank::LinkPad, [​IMG] Rank::MajesticSEO, [​IMG] SE::Seznam


    Исправления

    • Проблема с прокруткой в Планировщике
    • Проблема с кодировкой в tools.parseJSON
    • Ошибка импорта JavaScript парсеров
     
  16. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    1.1.832 - новые парсеры, выбор языка интерфейса в Google

    [​IMG]

    Улучшения
    • Новый парсер [​IMG] Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
    • Новый парсер [​IMG] Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
    • Новый парсер [​IMG] Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
    • В парсере [​IMG] SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
    • В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil
    • Удалены 5 устаревших парсеров: [​IMG] [noparse]SE::Google::pR[/noparse] - сервис больше не существует, [​IMG]SE::Google::Maps - выдача зависит от гео прокси, [​IMG] Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, [​IMG] Rank::Category - нет подходящего сервиса, [​IMG] [noparse]Rank::DMOZ[/noparse] - dmoz прекратил свое существование в марте
    • Теперь парсер [​IMG] SE::Yandex по умолчанию использует https, избегая ненужного редиректа
    Исправления в связи с изменениями в выдаче
    • [​IMG] SE::Bing, [​IMG] Rank::Archive, [​IMG] SE::AOL, [​IMG] SE::IxQuick, [​IMG] SE::Yahoo, [​IMG] Rank::Linkpad
    Исправления
    • JavaScript парсеры: исправлена обработка checkbox в настройках
    • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
    • [​IMG] SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
    • [​IMG] SE::Google::Trends - исправлена работа с неанглийскими запросами
    • В парсере [​IMG] Net::HTTP исправлена работа опции Check next page в редких случаях
    • Исправлена работа со сжатым контентом для редких сайтов
     
  17. effgen

    effgen New Member

    Joined:
    7 Mar 2013
    Messages:
    1
    Likes Received:
    1
    Reputations:
    0
    Ребята, кто еще сомневется, бросьте сомнения, софт окупиться 200%, лично я его юзаю каждый день на протяжении 3 лет, обновления постоянные, видно что человек живет этим проэктом, а ничего лучше нету как стабильный софт. Спасибо!
     
    A-Parser Sup likes this.
  18. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    1.1.853 - новые парсеры и каталог пресетов


    [​IMG]


    У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно :)


    Улучшения

    • Новый парсер [​IMG] HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
    • Новый парсер [​IMG] Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
    • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
    • Оптимизирована работа при большом числе активных заданий
    • Оптимизирована версия A-Parser для ОС Linux x64
    • Для парсера [​IMG] SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
    • В парсере [​IMG] SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

    Исправления в связи с изменениями в выдаче

    • [​IMG] SE:: DuckDuckGo, [​IMG] SE::IxQuick, [​IMG] SE::Bing::AddURL

    Исправления

    • В парсере [​IMG] SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
    • В парсере [​IMG] Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
    • Исправлен парсинг выдачи в [​IMG] SE::Bing если выбран язык отличный от английского
    • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры
     
    #18 A-Parser Sup, 1 May 2017
    Last edited by a moderator: 4 Dec 2017
  19. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

    В версии A-Parser 1.1.873 добавлен новый парсер [​IMG]SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи

    [​IMG]

    Улучшения
    • Новый парсер [​IMG] SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
    • Новый парсер [​IMG] SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
    • В парсере [​IMG]Rank::SimilarWeb добавлена поддержка антикаптчи
    • В парсере [​IMG] Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
    • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
    • В инструменты tools добавлена возможность кодировать и декодировать base64
    • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
    Исправления в связи с изменениями в выдаче
    • [​IMG]Rank::SimilarWeb, [​IMG] SE::Google::Images, [​IMG] Rank::MajesticSEO
    Исправления
    • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
    • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
    • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
    • Исправлена работа tools.js на ОС Linux
    • Исправлена утечка памяти при использовании JavaScript парсеров
    • Исправлена работа опции Динамический лимит потоков
     
    #19 A-Parser Sup, 15 May 2017
    Last edited by a moderator: 4 Dec 2017
  20. A-Parser Sup

    A-Parser Sup New Member

    Joined:
    3 Jun 2013
    Messages:
    6
    Likes Received:
    0
    Reputations:
    0
    Новый каталог парсеров и пресетов

    Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

    [​IMG]

    Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

    На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:
    Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
     
    #20 A-Parser Sup, 5 Jun 2017
    Last edited by a moderator: 4 Dec 2017
Loading...
Thread Status:
Not open for further replies.