База bash.org.ru

Discussion in 'Болталка' started by slesh, 12 Aug 2007.

Thread Status:
Not open for further replies.
  1. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,707
    Likes Received:
    1,222
    Reputations:
    455
    Вот сидим как то с другом. Делать нечего. Ну и решили спарсить башорг. Написали простенький скрипт(скачка страниц + парочку регулярных выражений) В этоге через пару минут получили всю базу башорга. А именно - 10455 цитат.

    Кому нужно качать от сюда:
    http://slil.ru/24727778
     
  2. Feshh

    Feshh Banned

    Joined:
    6 Mar 2007
    Messages:
    97
    Likes Received:
    53
    Reputations:
    -45
    на рапиду плиз залей
     
  3. n1†R0x

    n1†R0x Elder - Старейшина

    Joined:
    20 Jan 2007
    Messages:
    728
    Likes Received:
    376
    Reputations:
    235
    http://rapidshare.com/files/48507182/base.rar.html
     
  4. ultimatum

    ultimatum Elder - Старейшина

    Joined:
    28 Apr 2007
    Messages:
    142
    Likes Received:
    65
    Reputations:
    -13
    можно книгу писать.Автор ачат )))
     
  5. iRedX

    iRedX Elder - Старейшина

    Joined:
    18 Jun 2002
    Messages:
    117
    Likes Received:
    11
    Reputations:
    9
    Респект топикстартеру! Читают все, додумался сдампить только он! Пишите оболочку к базе и в релизы Античата!
     
  6. nerezus

    nerezus Banned

    Joined:
    12 Aug 2004
    Messages:
    3,198
    Likes Received:
    727
    Reputations:
    266
    Остальным это просто не надо )
     
  7. ArdeOS

    ArdeOS Elder - Старейшина

    Joined:
    16 Jul 2004
    Messages:
    137
    Likes Received:
    64
    Reputations:
    15
    +1
     
  8. TERYS

    TERYS Member

    Joined:
    11 Jan 2006
    Messages:
    77
    Likes Received:
    22
    Reputations:
    -2
    на webfile.ru может кто-то перезалить?
     
  9. NOmeR1

    NOmeR1 Everybody lies

    Joined:
    2 Jun 2006
    Messages:
    1,068
    Likes Received:
    783
    Reputations:
    213
    http://file4.webfile.ru/1495155/[webfile.ru]_base.html

    Автору респект :)
     
  10. helat

    helat Elder - Старейшина

    Joined:
    22 Jan 2007
    Messages:
    168
    Likes Received:
    45
    Reputations:
    5
    дай скрипт
     
  11. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,707
    Likes Received:
    1,222
    Reputations:
    455
    Сори за долгий offline проблемы с инетом.
    Кому нужен скрипт. вот он: Могут быть недочеты. т.к. всё исправлялось в скрипте который был в онлайне а не на компе.
    PHP:
    <?
    set_time_limit(0);
    ob_implicit_flush();
    ini_set ('max_execution_time'"0");
    ignore_user_abort(true);
    error_reporting (E_ALL);
    echo 
    "<hr>STEP1<hr><br>\n";
    $text="http://bash.org.ru/browse/";
    if(@
    $_GET['st']) $page_start=$_GET['st']; else $page_start=1;
    if(@
    $_GET['en']) $page_end=$_GET['en']; else $page_end=210;
    $a=fopen("1.txt","w+");
    echo 
    "STOP PAGE = $page_end";
    for(
    $page=$page_start;$page<=$page_end;$page++)
    {
    $html=file_get_contents($text.$page);
    fputs($a,$html);
    echo 
    "<br>Curent page = $page\n";
    }
    fclose($a);
    echo 
    "<br><hr>STEP2<hr><br>\n";

    $out=array();
    $a=fopen("base.txt","a+");
    $html=file_get_contents("1.txt");
    preg_match_all('|<div>(.*)</div>|U'$html$out);
    for(
    $i=0;$i<count($out[1]);$i++) 
    {
     
    fputs($a,$num."<hr><b>$i</b><br>".$out[1][$i]."\r\n"); 
    }

    fclose($a);
    echo 
    "Full Final<br><a heref='base.txt'>DOWNLOAD BASE</a>";

    ?>
     
  12. bulbazaur

    bulbazaur Banned

    Joined:
    10 Sep 2006
    Messages:
    125
    Likes Received:
    40
    Reputations:
    10
    ай эм ссори, бат как может быть 10к цитат, если последняя - 391409?
     
  13. slesh

    slesh Elder - Старейшина

    Joined:
    5 Mar 2007
    Messages:
    2,707
    Likes Received:
    1,222
    Reputations:
    455
    я просто посмотрел что там 210 страниц которые они мне показывают. вот я и взял их.
    Ты погляди в верх страницы там написано:
    Утверждено: 10551
     
    #13 slesh, 18 Aug 2007
    Last edited: 18 Aug 2007
  14. N3^x0r

    N3^x0r Guest

    Reputations:
    0
    Там цитаты не сплошняком идут, есть пропуски номеров.
     
  15. Lithium

    Lithium Elder - Старейшина

    Joined:
    31 Oct 2007
    Messages:
    6
    Likes Received:
    21
    Reputations:
    0
    Да ты крут...Однако...
     
Loading...
Thread Status:
Not open for further replies.