Создание словарей, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    104
    Likes Received:
    29
    Reputations:
    0
    в новой версии 0.8.2 не может быстро находить почту Em@iL - зависает программа и всё не обрабатывает данные
    текстовый документ размером 151 мегабайт Gmail
    перезалил фаил
    https://transfiles.ru/xawn3
     
    #481 scooter, 21 Sep 2020
    Last edited: 22 Sep 2020
    s9va likes this.
  2. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    *** Обновление 0.8.3 ***
    -добавлен новый метод сравнения среди двух файлов(пока не слишком больших) по принципу хеш и хеш:пароль с записью результатов в два файла
    -после многих переделок по оптимизации, найдено, исправлено и восстановлена работа для некоторых функций

    Содержимое файла hash:
    a68e6f701d2fc2efee70b32368ef5410
    2824b702fbcb928182279f98adec74bb
    e183f5fa619e6af458abda70532fd7a3
    d2ceedb9fa74e4c05312188aafd98e6a
    4b1da3c1cb9f406575c54faadd70392b
    76fcc095961984703d7f264ce88243a4
    49bc104b6986695022ea17d1b4b9579d

    Содержимое файла hash : pass
    a68e6f701d2fc2efee70b32368ef5410:nizar21142004
    2824b702fbcb928182279f98adec74bb:mj09296052000
    703dfcc07f276959619846443a4ce882:vasya123

    Вых. файл outLeft_5.txt... где 5- это кол-во hash-строк, что не найдены
    e183f5fa619e6af458abda70532fd7a3
    d2ceedb9fa74e4c05312188aafd98e6a
    4b1da3c1cb9f406575c54faadd70392b
    76fcc095961984703d7f264ce88243a4
    49bc104b6986695022ea17d1b4b9579d

    Вых. файл outFound_2.txt... где 2- это кол-во hash : pass-строк, что были найдены
    a68e6f701d2fc2efee70b32368ef5410:nizar21142004
    2824b702fbcb928182279f98adec74bb:mj09296052000
     
    #482 s9va, 22 Sep 2020
    Last edited: 22 Sep 2020
  3. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    104
    Likes Received:
    29
    Reputations:
    0
    ещё одна ошибка в новой версии 0.8.3 - теперь работает функция эта находить почту Em@iL
    просто при завершении не возможно открыть готовый фаил сразу - надо отключить программу тогда только открывается
    так же при завершении работы уже отсканированного документа не возможно открыть сразу его так же после этого -- от 8 и логин + login из login@email.ru
    та же самая ошибка выходит через блокнот и EmEditor
     

    Attached Files:

    #483 scooter, 22 Sep 2020
    Last edited: 22 Sep 2020
    s9va likes this.
  4. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3

    *** Обновление 0.8.4 ***
    - после многих переделок по оптимизации -уверенно возвращаемся к работоспособности некоторых функций, за найденное спс пользователю scooter
     
    V777, CRACK211 and scooter like this.
  5. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    *** Обновление 0.8.5 ***
    - новый метод сравнения двух файлов по принципу хеш и хеш:пароль теперь работает и для больших файлов
    - добавлен еще один новый метод , который соединяет строку первого файла с каждой строкой второго файла через указанный разделитель.
    При таком методе, размер файлов может значительно вырасти, в связи с этим в начале запуска, будет проанализирован предполагаемый размер выходного файла с выводом в лог, интересный расчет внизу спойлера.

    Укажем разделитель в качестве -

    Файл 1:
    aaa
    bbb
    ccc

    Файл 2:
    111
    222
    333

    Выходной файл:

    aaa-111
    aaa-222
    aaa-333
    bbb-111
    bbb-222
    bbb-333
    ccc-111
    ccc-222
    ccc-333

    Два выходных файла - в их названии, содержатся в виде цифр найденные совпадения или те, что не были найдены , подробно в приложенной справке в архиве.
    Что касается размеров, то необходимо учитывать их значительное увеличение, например возьмем два файла:
    Файл 1 -размер файла 292 мегабайт строк - 9 345 004
    Файл 2 -размер файла 40 байт строк - 4
    Размер файла на выходе будет равен 1, 43 Гб

    размер 1-файла * кол-во строк 2-файла + (кол-во строк 1-файла * (размер 2-файла - кол-во строк 2-файла))

    299 991 593 * 4 + (9 345 004 * (40 - 4)) ==> 1 536 386 516 = 1, 43 Гб

    Я не стал делать такой доскональный расчет в программе, хоть и пришлось вначале над этой формулой подумать, а ограничился примерным, через среднее значение размера части выходного файла умноженного на количество частей.
    - в архив изменена и внесена справка с более подробным описанием пока что последних методов - как работает и с примерами
    шапка темы обновлена
     
    D9d9_tol9, Piligrim740, hydra and 7 others like this.
  6. wirepank

    wirepank New Member

    Joined:
    9 Oct 2020
    Messages:
    3
    Likes Received:
    1
    Reputations:
    0
    функция разбить по разделителю на NVME 500gb со скоростью 1700 , почему-то очень медленная и не нагружает , только в начале при создании кучи файлов по 200мб грузит в 100% после такое ощущение что даже не обращается, на обычном жестком диске, в 2,5 раза быстрее, да в сортировке вроде как все ровно, но чтобы в 100% загруженность еще не было, хз как настроить на полную мощь.

    бывает пишет произошла одна или несколько ошибок, приходится делить по 10гб файлами "софт не хочет понимать и выдает ошибку" но если через редактор вручную удалять копии после чего софт начинает понимать файл

    Автору выражаю респект, действительно полезный софт, вот бы еще в экспериментальном режиме по разделителю не пропускал заданные параметры было бы вообще пушка, NVME у меня будет до конца месяца, если автору нужны тесты, с удовольствием помогу
     
    s9va likes this.
  7. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    -Размер тестируемого файла 5,04 Гб.
    Прочитанных строк: 168133744
    Разделителей найдено: 168155725
    Время обработки:
    ExTDv072 - 14 мин 43 сек.
    ExTDv082 - 08 мин 37 сек.
    ExTDv082 экспериментальная - 02 мин 46 сек.
    Cygwin x64 3.3.0 build 14393 - 04 мин 50 сек. команда

    куда еще быстрей...))
    используйте авто-обработку для входных файлов
    на то оно и экспериментальная...просто показывает возможности))
    и вам спс за добрые слова
     
    hydra, CRACK211 and V777 like this.
  8. V777

    V777 Elder - Старейшина

    Joined:
    12 May 2015
    Messages:
    1,270
    Likes Received:
    2,953
    Reputations:
    23
    хорошо б еще сделать делить файл по строкам. И что б можно было делить большие файлы на разные размеры
    ждем обновлений .
     
    CRACK211 and s9va like this.
  9. fire-dance

    fire-dance Elder - Старейшина

    Joined:
    12 May 2015
    Messages:
    972
    Likes Received:
    653
    Reputations:
    11
    Дело в том что на м2 никто не тестировал, тестировали только на жёстких дисках 60-100 и ссд 400-500 потому так, за тесты будет не только благодарность но уважение от других пользователей так как будущие в м2 накопителях где-то видел что до 10 тыс уже есть скорость)
     
    s9va likes this.
  10. wirepank

    wirepank New Member

    Joined:
    9 Oct 2020
    Messages:
    3
    Likes Received:
    1
    Reputations:
    0
    @s9va Здравствуйте
    "Используйте авто-обработку для входных файлов" - использую всегда но ошибки есть и успешно когда ошибка, а иногда полезная нагрузка есть но цикл за циклом до 100% и назад на 98%, в 85 версии вроде уже такого не замечено, но ошибки постоянно, если возможно по согласию пользователя делать скипы если есть такие траблы на пути софта было бы супер, с миллиона потеря 100 строк не так и страшно.

    на NVME скорость 1700мб/с, на харде 140мб/с, при функции разбить по разделителю я вижу на харде 40-80мб/с постоянной полезной нагрузки, в тоже время на 2 пк где nvme происходит секундная нагрузка 60мб/с после тишина и разбиение длится очень долго и не нагружает систему, 2 пк с одинаковым файлом запускал и с жестким разделение было в 2,5 раза быстрее, да в сортировке с 96 потоков, 1024 памяти и 8 ядер все очень шустро.

    просили выше обратную связь, поэтому это никак не камень в огород, а обратная связь для улучшения ПО

    Вопрос к автору, кеш в жестком диске играет роль в сортировке или разделению, планирую купить жесткий для хранения фоток и затестить ради интереса, вот только с 256мб кеша цена кусается, спасибо
     
  11. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    к-во заданных потоков учитываются программой и не всегда их может быть столько, сколько задано в настройках -зависит от длины файла, длины строк и подбираются не более чем указано значение макс..., что касается памяти, выведено в настройках нечто общее и не все настройки доступны, например, размеры буферов для входных-выходных файлов, размер разбивки куска файла, размер макс значения при котором начнется разбивка на части и т.д....если и их подогнать под определенное железо, то эффект значительно вырастет и появится нагрузка, но чтоб не было паники, они указаны оптимальными для всех и не настраиваются.
    Для интереса, я кину в личку отдельный вариант с возможностью указать их, для теста.
     
    wirepank and Petr Sitkin like this.
  12. soundboom

    soundboom New Member

    Joined:
    13 Oct 2020
    Messages:
    9
    Likes Received:
    0
    Reputations:
    0
    Есть ли словари на имена? ну чтобы на каждое имя был отдельный словарик? ну хотя бы на самые распространенные имена.
    а то бывает что имя точки например "Anastasia" и тут понятно что нужен словарик под это имя с разными вариациями имени и цыфрами.
     
  13. wirepank

    wirepank New Member

    Joined:
    9 Oct 2020
    Messages:
    3
    Likes Received:
    1
    Reputations:
    0
    @soundboom так вам дали лопату золотую, что вам еще нужно?))
     
  14. soundboom

    soundboom New Member

    Joined:
    13 Oct 2020
    Messages:
    9
    Likes Received:
    0
    Reputations:
    0
    даже одно имя имеет много вариаций-alex alexandr, sasha и тд.
    ну сделаю я вариации с числами alex2020 2020alex но я не сделаю вариации из словами.
    например онлайн взломщик недавно взломал пароль alexmoon, я охренел.
    а всё что я могу сделать это просто имена из цифрами.
     
  15. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    есть, аналог кота, в меню Генератор и на выбор по маске, описания присутствуют
     
  16. soundboom

    soundboom New Member

    Joined:
    13 Oct 2020
    Messages:
    9
    Likes Received:
    0
    Reputations:
    0
    блин)
    зачем мне велосипед изобретать?
    я спрашиваю встречал ли кто-то словари по именам)
    а же не спрашиваю как создать.
    как создать я знаю, но на эт нужно тратить много времени, в то время когда они уже есть, где-то)
    онлайн взломщики уже имеют такие словарики, многие в открытом доступе аля словарей InSide.
     
  17. erwerr2321

    erwerr2321 Banned

    Joined:
    19 Jun 2015
    Messages:
    3,764
    Likes Received:
    22,853
    Reputations:
    132
  18. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    *** Обновление 0.8.6 ***
    -Метод - Поиск часто встречающихся паролей в файлах, она же Сравнение совпадений(по предложению AlexSP)
    Screenshot_11.jpg Screenshot_12.jpg
    добавлен вариант записи в файл от меньшего к большему и наоборот ,для сортировки получившегося списка по кол-ву совпадений
    -Добавлена еще одна скоростная экспери-ая ф-ция Разбить по разделителю - по нескольким (по предложению wirepank)
    Через запятую укажите разделители в качестве символа
    Code:
    для строки :
    Skystriker:croselius@gmail.com:72.231.153.137
    укажем разделители через запятую :,@
    получим на выходе :
    Skystriker
    croselius
    gmail.com
    72.231.153.137
    - Внесены некие исправления в авто-обработку файлов (благодаря crack211)
    Шапка темы обновлена.
     
    Petr Sitkin, CRACK211, V777 and 2 others like this.
  19. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    168
    Likes Received:
    425
    Reputations:
    3
    проверял на неск файлах, зависаний не обнаруживал
    поделите его по частям, меньшими по размеру, постарайтесь найти проблемный кусок, хотелось бы глянуть....илиже испробуйте в начале удалить непеч символы для файла
     
    V777 likes this.
  20. ZloyHaKeR

    ZloyHaKeR Member

    Joined:
    1 Mar 2017
    Messages:
    178
    Likes Received:
    61
    Reputations:
    0
    Скажите возможно ли добавить функцию "замена чего-то на что-то " до первого совпадения?
    То есть если в строке есть одинаковые символы в разнвх словах ,то нужно заменить только первое ,а остальные не трогать.
    Пример:
    Code:
    @ENGAGEPEO\test;P@ssw0rd
    После замены
    Code:
    ;ENGAGEPEO\test;P@ssw0rd
    И так же на будущее добавить "замена что-то на что-то " только последние совпадения а не первые не трогать .
    Code:
    @ENGAGEPEO\test;P;ssw0rd
     
Loading...