Загружают ли поисковые боты JS?

Discussion in 'PHP' started by Markus_13, 5 Dec 2009.

  1. Markus_13

    Markus_13 Member

    Joined:
    19 Feb 2009
    Messages:
    74
    Likes Received:
    19
    Reputations:
    0
    У меня на одном сайте (без пхп) менюшка (с ссылками) генерируется на каждой странице через JS - бот индексирует только главную страницу (остальные не видит), файл robots отсутствует...

    Если всеже crawler`ы юзают JS - еще один вопрос: можно ли на JS определить - кто грузит страницу юзер или бот??
     
  2. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    нет
    и
    нет
     
  3. diehard

    diehard Elder - Старейшина

    Joined:
    30 Sep 2007
    Messages:
    442
    Likes Received:
    266
    Reputations:
    15
    1) да
    2) можно, но сложно
     
  4. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    они же не интерпритируют джаваскрипт
    бот - не браузер





    2 rushter +
     
  5. Markus_13

    Markus_13 Member

    Joined:
    19 Feb 2009
    Messages:
    74
    Likes Received:
    19
    Reputations:
    0
    - то что не индексируются остальные страницы это пока что неважно - я просто код перепишу на пхп и сменю хост, это просто как аргумент в пользу того что краулеры не работают с JS...
    Мне гораздо важнее получить ответ на 2 вопрос.

    З.Ы. Ответы типа "да"/"нет" меня не устраивают - аргументируйте или давайте линки на инфу, на основе которой был вынесен вердикт... ну или вообще не пишите - если точно не знаете.
     
  6. LStr1ke

    LStr1ke Elder - Старейшина

    Joined:
    29 Jul 2009
    Messages:
    800
    Likes Received:
    145
    Reputations:
    73
    Я не знаю можно ли на JS определить User-Agent. Я уже точно не помню для чего, но делал в связке с php.
    Что-то вроде:
    PHP:
    <script>
    <?php
    echo "var ua=\"".$_SERVER['HTTP_USER_AGENT']."\";";
    ?>
    alert("Ваш юзер агент - "+ua);
    </script>
    Это конечно как вариант, но ща глянул в гугл есть и реализация на JS
     
  7. vvs777

    vvs777 Elder - Старейшина

    Joined:
    16 Nov 2004
    Messages:
    387
    Likes Received:
    210
    Reputations:
    4
    у меня на сайте ссылки также генерируются на JS и ни одна сволочь их не индексирует.
    Пришлось сделать "кеш" ака карта сайта. Она сразу попала в индекс.
     
  8. phpdreamer

    phpdreamer Member

    Joined:
    26 Jul 2009
    Messages:
    522
    Likes Received:
    86
    Reputations:
    19
    аргументирую ответ на второй вопрос
    https://forum.antichat.ru/thread157764.html
     
  9. diehard

    diehard Elder - Старейшина

    Joined:
    30 Sep 2007
    Messages:
    442
    Likes Received:
    266
    Reputations:
    15
    гугл выполняет javascript давным давно
     
  10. Markus_13

    Markus_13 Member

    Joined:
    19 Feb 2009
    Messages:
    74
    Likes Received:
    19
    Reputations:
    0
    Искал уже достаточно давно - ничего не нашел по этой теме

    По моим личным наблюдениям - всеже JS краулерами не выполняется - т.к. в кэше ПС - мой сайт без того контента, который динамически генерится на JS

    З.Ы. возможно у разных ПС - по разному, но гугл мой сайт также не проиндексировал (тока главную страницу)
     
  11. diehard

    diehard Elder - Старейшина

    Joined:
    30 Sep 2007
    Messages:
    442
    Likes Received:
    266
    Reputations:
    15
    То что JS-краулер не добрался до твоего сайта не означает, что JS-краулера нету ))
     
  12. diehard

    diehard Elder - Старейшина

    Joined:
    30 Sep 2007
    Messages:
    442
    Likes Received:
    266
    Reputations:
    15
    Обфусцированные редиректы запрятанные в JS отлично обрабатывает (в т.ч. и события типа onmouseover, setTimeout, и ajax тоже), и бежит по ссылкам. По опыту с дорвеями знаю
     
  13. Markus_13

    Markus_13 Member

    Joined:
    19 Feb 2009
    Messages:
    74
    Likes Received:
    19
    Reputations:
    0
    Т.е. JS-краулер работает отдельно от основного бота?
    хм, подожду еще неск-ко дней))
     
  14. diehard

    diehard Elder - Старейшина

    Joined:
    30 Sep 2007
    Messages:
    442
    Likes Received:
    266
    Reputations:
    15
    Гуглботы есть специальные под разные цели, есть гугл бот который выкупает штучки с js, есть который выкупает клоакинг и т.д.
    Может и вовсе не прийти, если нет на сайте трафа. Поставь пару десятков ссылок с PR>5, сразу ощутишь на себе всю мощь гугловских хитроботов ))
     
  15. LStr1ke

    LStr1ke Elder - Старейшина

    Joined:
    29 Jul 2009
    Messages:
    800
    Likes Received:
    145
    Reputations:
    73
    Eto i est' analiz =\
    on isleduet kod JS i emuliruet pol'zovatelya. esli est' naprimer
    [onclick="document.location='page.chm'"]
    on budet indeksirovat' page.chm i ne budet lomat' "golovu" nad ciklami, dvijeniem kartinok i td.
    Analiz dlya indeksacii i vipolnenie JS - raznie veshi =\

    Sorry za kodirovku. WIN tupit padla :)
     
  16. Markus_13

    Markus_13 Member

    Joined:
    19 Feb 2009
    Messages:
    74
    Likes Received:
    19
    Reputations:
    0
    diehard, Так получается индексация по JS всетаки не идет - поиск дорвеев и тому подобное - это мне пох впринципе, меня интересует именно обработка JS-генерируемого контента.

    З.Ы. появилась кстати идейка: создать невидимый ифрейм на главной со всеми ссылками - и поидее можно обойтись без карты сайта))

    З.З.Ы. и еще: на пыхе-то точно можно кравлеров отлавливать - и если для ботов будет генериться дополнительный keyword`ный мусор - это негативно не отразится на рейтинге?)))
     
    #16 Markus_13, 6 Dec 2009
    Last edited: 6 Dec 2009
Loading...