давно работаю с программой пауком. Траблы с IIS

Discussion in 'С/С++, C#, Rust, Swift, Go, Java, Perl, Ruby' started by Coraх, 25 Nov 2010.

  1. Coraх

    Coraх New Member

    Joined:
    24 Nov 2010
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    Не знаю куда разместить тему, но, так как программа пишется на C#, будет гостить тут.
    А суть вот в чём: пишу паука, который собирает цены с разных сайтов. Программа дописывается постепенно, новые сайты добавляются по мере необходимости. Работает уже несколько лет и никто не жалуется, но периодически встает задача добавить новый сайт для сбора цен.
    В принципе, это не сложно - сделал довольно удобный класс для этого. Работать с ним легко - сам собирает куки, понимает ответы сервера о переадресации и делает красивые запросы:

    Code:
                SystemAdapter.SiteQueryer.NewHost = "karminavto.ru";
    
                // Шаг 1. Получаем сессию
                SystemAdapter.SiteQueryer.Get( 1000, "/" );
    
                // Шаг 2. Запрашиваем номер
                sCurrentPath = "/parts/search";
                string sPostData = "frm[articul]=" + pPosition.sNumber;
                sResponse = SystemAdapter.SiteQueryer.Post(5000, sCurrentPath, sPostData);
    Но всегда... ВСЕГДА - возникают проблемы когда на сервере крутится IIS.
    Иногда какими-то непонятными манипуляциями я это обхожу и потом - "ничего не трогать, ничего не менять!!!".

    Вот такой запрос:
    Code:
    POST http://online.tmtr.ru/login.aspx HTTP/1.1
    Host: online.tmtr.ru
    Cookie:
    Accept-Charset: windows-1251
    Content-Type: application/x-www-form-urlencoded
    Content-Length: 114
    
    __VIEWSTATE=ghgho&__EVENTVALIDATION=p24d&tbLogin=RSA&tbPassword=UngD4Wr3vx&btSubmit=%D0%92%D0%BE%D0%B9%D1%82%D0%B8
    Выдает: 500 Internal server error
    Content-Length посчитан правильно. Проверял через temper data.
    Кто-нибудь понимает что не так делаю?

    PS. Запросы посылаются через проксю
     
    #1 Coraх, 25 Nov 2010
    Last edited: 25 Nov 2010
  2. Juda

    Juda Elder - Старейшина

    Joined:
    2 Aug 2008
    Messages:
    48
    Likes Received:
    8
    Reputations:
    0
    в вэб конфиге не хватает настроек. то есть проблема на стороне сервера который падает.
     
  3. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,705
    Likes Received:
    1,225
    Reputations:
    455
    Ну дык скорее всего ошибка в обработки куков на стороне сервера.
    А всё потому что если ты не посылаешь куки то поле Cookie ты вообще не должен слать. А в твоем случае шлется пустое значение этого параметра и по этому скорее всего глюк идет.
     
  4. Coraх

    Coraх New Member

    Joined:
    24 Nov 2010
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    Спасибо всем, кто ответил.
    Проблема была, действительно, в куках и в отсутствии User-Agent. Как только убрал Cookie и указал что данные якобы идут от мозиллы - сервер стал отвечать нормально.
    Наверное, можно закрывать тему.
     
Loading...