Дайте наводку text to sha256

Discussion in 'Болталка' started by stalker0007, 30 Apr 2019.

  1. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    echo -n "123" | shasum -a 256
    a665a45920422f9d417e4867efdc4fb8a04a1f3fff1fa07e998e86f7f7a27ae3

    пашет на ура но это для 1 (слова текста) а мне нужно обработать лист txt весит 20 гигов

    нужно шустро пройти на Linux/Win - Есть идеи?
    какой то hashrat или хрен знает что что бы шустро проходило большие тхт файлы сохраняя результат
     
  2. Игорь

    Игорь Member

    Joined:
    5 Sep 2006
    Messages:
    39
    Likes Received:
    14
    Reputations:
    0
    В тексте спецсимволов нет? do read while, но из-за управляющего символа на баше может вылететь.
     
  3. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    нет, A-z 0-9
     
  4. Игорь

    Игорь Member

    Joined:
    5 Sep 2006
    Messages:
    39
    Likes Received:
    14
    Reputations:
    0
    Code:
    while read LINE
       do echo -n "$LINE" | shasum -a 256
    done < /home/my.txt
    Примерно вот такой bash скрипт должен сработать.
     
    stalker0007 likes this.
  5. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    скрипт работает, но закинул для начала 1 гиг строк, запись в тхт очень медленная около суток будет обрабатывать

    Проц i7-8086k 4.00GHZ
     
  6. Игорь

    Игорь Member

    Joined:
    5 Sep 2006
    Messages:
    39
    Likes Received:
    14
    Reputations:
    0
    shasum, на сколько помню, в однопоточном режиме работает.
    Проверить в процессах, если так, запустить несколько копий с разными файлами, после cat склеить.
     
  7. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    не вариант, спасибо большое за помощь в любом случаи!

    Может кто ещё знает как? может какой то hashgui быстрый
     
  8. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    Без вариантов?
     
  9. b3

    b3 Moderator

    Joined:
    5 Dec 2004
    Messages:
    2,027
    Likes Received:
    913
    Reputations:
    199
    сейчас бы погенерить побыстрому sha1
     
    _________________________
  10. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    Собственно нашел вариант для win - Quickhash-Windows-Notsigned-v3.0.4
    больше 500мб не обрабатывает тупо клинит и вырубается
    400мб 20 миллионов строк делает за минут 7 в hash256 но в любом случаи это медленно. По сути раз есть на win то и на Linux по идее должно быть что то шустрее в разы но где это?


    насчет sha1
    собственно этот же софт делает и с sha1 возможно такая же скорость обработки.
     
  11. user100

    user100 Moderator

    Joined:
    24 Dec 2011
    Messages:
    4,422
    Likes Received:
    16,460
    Reputations:
    371
    Встречал онлайн сервисы по типу text to hash , но ограничение в 50 мб на файл.
    Если только не лень заморочиться с нарезкой файла и многопотоком , то можно и так.
     
    _________________________
    stalker0007 likes this.
  12. stalker0007

    stalker0007 Member

    Joined:
    1 Oct 2009
    Messages:
    44
    Likes Received:
    20
    Reputations:
    0
    есть большая вероятность что ляжет как только подключить многопоток( даже в 20 потоков ) ну или будет отдавать пустой ответ.
     
Loading...