Вопрос| Парсер выдачи кол-ва результатов google

Discussion in 'PHP' started by EoGeneo, 1 Jul 2015.

  1. EoGeneo

    EoGeneo Member

    Joined:
    29 Aug 2009
    Messages:
    129
    Likes Received:
    9
    Reputations:
    1
  2. SpRyt

    SpRyt Member

    Joined:
    18 Oct 2010
    Messages:
    45
    Likes Received:
    5
    Reputations:
    5
    Предпочтения в языке реализации есть какие-либо?
     
  3. EoGeneo

    EoGeneo Member

    Joined:
    29 Aug 2009
    Messages:
    129
    Likes Received:
    9
    Reputations:
    1
    :) желательно php, js
     
  4. barnaki

    barnaki Elder - Старейшина

    Joined:
    2 Nov 2008
    Messages:
    673
    Likes Received:
    125
    Reputations:
    4
    отправляешь курлом запрос на этот адрес и регуляркой берешь кол во найденых результатов
     
  5. chaser81

    chaser81 Member

    Joined:
    11 Oct 2013
    Messages:
    49
    Likes Received:
    14
    Reputations:
    1
    У нас аналогичная проблема с парсингом гугла, но другого характера.
    Сканируем выдачу через прокси.
    Но недели 2-3 назад Гугл стал банить сразу, без КАПЧ, после 5-6 запросов к выдаче (ранее если он что-то подозревал аномальное, то давал капчу и после ее решения все было ОК).
    Т.е. он стал точнее и жестче определять что его парсят, а не просто много народу с одного IP что-то в нем ищут.
    Соотв. куки, рефереры и прочее -все это есть, т.е. дело видимо в чем-то новом.

    Если кто-то решил аналогичную проблему, был бы рад помощи.
     
  6. chaser81

    chaser81 Member

    Joined:
    11 Oct 2013
    Messages:
    49
    Likes Received:
    14
    Reputations:
    1
    Что, никто не сталкивался? У всех все ОК?
     
  7. qaz

    qaz Elder - Старейшина

    Joined:
    12 Jul 2010
    Messages:
    1,582
    Likes Received:
    173
    Reputations:
    75
    я парсю через шеллы и всё норм.
     
  8. chaser81

    chaser81 Member

    Joined:
    11 Oct 2013
    Messages:
    49
    Likes Received:
    14
    Reputations:
    1
    Проблема была в прокси, видимо они были побанены
    Купили новые и все заработало
     
Loading...