скрэппинг БД

Discussion in 'Песочница' started by justX, 16 Aug 2016.

  1. justX

    justX New Member

    Joined:
    16 Aug 2016
    Messages:
    2
    Likes Received:
    1
    Reputations:
    0
    есть сайт, при определенном запросе на который, возвращается json. что бы собрать все данные необходимо около 4-ех миллионов запросов. Особо не шаря в теме, начал делать на node.js.
    запрос => ответ => запись в базу.
    На n-ом запросе вместо данных приходят ответы с текстом "spam" (не удивительно). Смотрел в сторону change tor circuit, но там вроде тоже ограничение в 10-30 секунд между сменами. Какие мысли есть? Как реализовать смену ip или что то подобное каждые n запросов дабы обойти это ограничение?
     
  2. Absurd

    Absurd Member

    Joined:
    15 Aug 2016
    Messages:
    21
    Likes Received:
    10
    Reputations:
    0
    Собственно, а в чём вопрос-то? Как сменить IP?...через прокси есессно
     
  3. DarkCaT

    DarkCaT ~Some Member~

    Joined:
    14 Mar 2016
    Messages:
    33
    Likes Received:
    13
    Reputations:
    17
    Набери кучу проксей и меняй их по кругу, либо можно использовать тор подняв там контрол порт и используя команду NEWNYM которая будет тебе пересоздавать цепочку. Подробнее можешь почитать тут :
    https://gitweb.torproject.org/torspec.git/tree/control-spec.txt#n398