madSS - madnet site structure | Сканнер структуры сайта.

Discussion in 'Избранное' started by madnet, 12 Mar 2007.

  1. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    Данный сервис предназначен для определения структуры сайта. Часто приходится пользоваться различными сканнерами для определения структуры сайта, но мы забываем, что в 99% случаев до нас это сделал лучший сервис сети, великий и могучий GOOGLE, причем частенько он запоминает то, до чего смертному просто так не добраться. Моя система пытается вытянуть максимум информации о сайте из гугла и построить на ее основе дерево сайта, утилита так же будет полезна web программистам для анализа индексации сайта гуглом.

    http://madnet.name/news/19.html

    P/S сразу уточню что это альфа версия.



    UPDATED
    Логическим продолжением

    madSS - madnet site structure
    стал переход его в
    GmadS – Google madnet Scaner

    Обуславливается это новыми возможностями системы, а именно:
    1) Поиск доступной для просмотра PHPINFO информации
    2) Вывод директорий сайта, запрещенных к индексированию
    3) Вывод списка Сайтов на сервере aka (ReverseIP)

    линк тот же.
     
    #1 madnet, 12 Mar 2007
    Last edited: 9 Apr 2007
    33 people like this.
  2. guest3297

    guest3297 Banned

    Joined:
    27 Jun 2006
    Messages:
    1,313
    Likes Received:
    639
    Reputations:
    817
    Спасибо как всегда радуешь нас.
    исходники будут?
     
  3. tclover

    tclover nobody

    Joined:
    13 Dec 2005
    Messages:
    763
    Likes Received:
    681
    Reputations:
    287
    http://tools.webmasters.sk/sitemap-creator.php
     
  4. blaga

    blaga Elder - Старейшина

    Joined:
    23 Mar 2006
    Messages:
    916
    Likes Received:
    272
    Reputations:
    106
    идея конечно ничего... но дорабатывать нужно... вот еще бы помимо гугла еще что нибудь... а то стата маленькая получаеться.
     
    1 person likes this.
  5. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    2cash,
    доведу до ума, а там наверняка

    2tclover,
    здесь сервак сам сканит сайт, хотел бы я посмотреть как он просканит скажем 1к страниц + русский чет он никак
     
  6. tclover

    tclover nobody

    Joined:
    13 Dec 2005
    Messages:
    763
    Likes Received:
    681
    Reputations:
    287
    Да нормально вроде с русским :)
    [​IMG]
     
  7. Sadman

    Sadman Member

    Joined:
    9 Mar 2007
    Messages:
    8
    Likes Received:
    12
    Reputations:
    0
    Хорошо.
    Следующий шаг - добавить к каждой вершине дерева (goto)
     
  8. D=P=CH= MOD=

    D=P=CH= MOD= Elder - Старейшина

    Joined:
    15 Aug 2006
    Messages:
    301
    Likes Received:
    195
    Reputations:
    15
    madnet 5 баллов!

    Хорошо бы бруттер директорий добавить для полного комплекта)
     
  9. Sadman

    Sadman Member

    Joined:
    9 Mar 2007
    Messages:
    8
    Likes Received:
    12
    Reputations:
    0
    всё уже сделано до нас ;)
     
  10. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    Это разные сервисы.
     
    2 people like this.
  11. Sadman

    Sadman Member

    Joined:
    9 Mar 2007
    Messages:
    8
    Likes Received:
    12
    Reputations:
    0
    а в чем принципиальная разница?
     
  12. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    хотя бы в том, что http://tools.webmasters.sk тупо сканит ресурс, и если нет ссылки на какую-то страницу, то она никогда не появится в результатах, а мой сервис работает с гуглом, который за долгую историю скана собирает много инфы о сайте, к тому же логично что скорасть работы обсалюто отличается, у меня гинерится красивое дерево, а там х3, там не понимает русский язык, к томуж на моем сате тот сервис нашел 20 удаленный страниц, хех у меня всего столько, делаем вывод что криво он работает и т.д. и т.п.
     
    2 people like this.
  13. Sadman

    Sadman Member

    Joined:
    9 Mar 2007
    Messages:
    8
    Likes Received:
    12
    Reputations:
    0
    Ок. Значит имеем такое:
    Там - робот, который шастая показывает as is.
    У тебя тулза, которая, используя кэши гугла позволяет построить не только as is по тому что нашастал гугловый робот, но и то что было раньше - это и будет чисто твоя фишка. Нужно будет только научиться отличать старое от нового и получить что-то типа

    1 site.net
    --1 index.html [ver. -1] [ver. -2] ...
    --2 ...
    --3 ...

    Дальше, раз у тебя есть уже механизм запросов можно дёшево и сердито прикрутить форму "Искать в гугле для каждого листа дерева" и показать результаты в этих самых листах.

    Какие у тебя самого мысли о накручивании фич?
     
  14. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
     
  15. Sadman

    Sadman Member

    Joined:
    9 Mar 2007
    Messages:
    8
    Likes Received:
    12
    Reputations:
    0
    IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?)

    А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу)

    кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию
    http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу)
     
  16. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    google нет, я да.
     
    1 person likes this.
  17. Dracula4ever

    Dracula4ever Elder - Старейшина

    Joined:
    8 May 2006
    Messages:
    418
    Likes Received:
    183
    Reputations:
    26
    Просто красота :)
    Будем ждать исходников от всего серца и души :d
     
  18. madnet

    madnet Умиротворенный

    Joined:
    9 Dec 2004
    Messages:
    904
    Likes Received:
    343
    Reputations:
    423
    Обновил сканнер, подробности в 1м посте.
     
    1 person likes this.
  19. sergeich

    sergeich Elder - Старейшина

    Joined:
    6 Nov 2005
    Messages:
    310
    Likes Received:
    142
    Reputations:
    14
    Хорошая штука =) Надо только цвет шрифта поменять, пока приходится ctrl+a нажимать чтоб читабельно было, и в дизайн список не вписывается (размером - но это мелочи ))

    Даешь open source ! :D

    ++
     
  20. guest3297

    guest3297 Banned

    Joined:
    27 Jun 2006
    Messages:
    1,313
    Likes Received:
    639
    Reputations:
    817
    sergeich
    юзай ie. тогда все будет вписываться.
     
Loading...
Similar Threads - madSS madnet site
  1. madnet
    Replies:
    17
    Views:
    13,472
  2. madnet
    Replies:
    36
    Views:
    50,799