Сортировка текста, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    866
    Likes Received:
    583
    Reputations:
    9
    Проще убрать с проги EmEeditor или нотепад если фаил не большой,
    но если заморочиться то вот пока что прога может мож сделать)
    вот пример:
    [SANTA_KAS] | User[vasaa@gmail.com:Smash1585]
    > Дата создания [09.09.2011 12:19:35]
    > Последняя активность [21.09.2019 20:35:14]
    > Последний бой [20.09.2019 18:05:43]
    > Премиум аккаунт [false]
    > Золото: 0 | Серебро: 4198833 | Боны: 3950 | Свободный опыт: 49575
    > Привязан к телефону: [True]
    > Количество боев [9352]
    с моего примера можно убрать прогой но только делать кучу проходов
    так как есть рус текст
    1 проход убрать рус текст
    2 проход убрать | User[
    3 проход убрать [
    4 проход убрать ]
    5 проход убрать >
    6 проход убрать пробелы
    7 проход удалить все что меньше 10 символов
    итог:
    сам ник тоже останется некоторые
    в основном будет строка самая длинная
    vasaa@gmail.com:Smash1585
     
    #201 fire-dance, 6 Oct 2019
    Last edited: 6 Oct 2019
  2. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    Чтобы вытащить почту и пароль из такого однотипного текста и ему подобных...важно пойти по правильному направлению-это уже существующий емэйл!
    Зная регулярку для поиска емайл:
    Code:
    [_a-zA-Z\d\-\.]+@[_a-zA-Z\d\-]+(\.[_a-zA-Z\d\-]+)+
    выполнить след шаги при помощи Функции- Регул выраж- Поиск текста
    Screenshot_12.jpg
    вставить регулярку в появившееся окно:
    Screenshot_13.jpg
    такого содержания:
    Code:
    [_a-zA-Z\d\-\.]+@[_a-zA-Z\d\-]+(\.[_a-zA-Z\d\-]+)+:[_a-zA-Z\d\-]+
    во входящем тексте :
    Screenshot_14.jpg
    на выходе получим :
    Code:
    vRotEmyNogi@gmail.com:Smash1585
     
    scooter, CRACK211, YATbI and 2 others like this.
  3. YATbI

    YATbI Member

    Joined:
    28 May 2012
    Messages:
    33
    Likes Received:
    33
    Reputations:
    0
    Возможно ещё пригодилась бы регулярка на мобильные телефоны хотя бы частично, т.к. вариантов написания много, мб все и не охватить
    На хабре есть такое ^((8|\+7)[\- ]?)?(\(?\d{3}\)?[\- ]?)?[\d\- ]{7,10}$ , но как-то криво оно работает, ищет даты и всякую ерунду
    -69991086-
    -699996-
    -7-21987
    -7-4--87
    -7-7-7-7
    -7-7-7-7-7
    -7-81964
    -7-81989
    -7-9-0-9
    -7-9-17-19
    -700704-
    -7021986
    -7022002
    -703-345
    -703703-
    -7045933-
    -706-88-
    -7067876-
    -7072265-
    -707888-
    -7081984
    -71-72-80-
    -71219107
    -7121999
    -7129135-
     
  4. Andrey9999

    Andrey9999 Elder - Старейшина

    Joined:
    23 May 2012
    Messages:
    2,002
    Likes Received:
    15,958
    Reputations:
    58
    линуксовая регулярка для российских номеров:
    sed -r '/^(9|89)[0-9]{9}$/!d' 1.txt > mobile.txt | sed -r '/^(9|89)[0-9]{9}$/d' 1.txt > ostalnoe.txt

    в скобках через | можно добавить еще всякие +7...
     
    binarymaster, YATbI and hydra like this.
  5. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    Screenshot_6.jpg
    v0.5
    -Функции Разбивка и соединение файлов переписаны с нуля и достигли почти критического состояния для виндоус:eek:)..как показали тесты, то на файлах 4 и 12 ГБ, скорость сравнилась с линукс, при этом обязательно учитывается целостность первой и последней строки для каждого блока, ну а подобие для винды по скорости и размеру значительно уступали из тех, что были найдены для сравнения.
    Работа каждой функции тоже выросла, поскольку большая часть этого алгоритма участвует в работе.
    За тесты спс двум хорошим людям, hydra и fire-dance

    -Для приложения добавлена новая кнопка в заголовке меню - Масштаб: 100, 125 и 150 %
    -Прежние подсказки для функций теперь отображаются в отдельных всплывающих окнах и ширина формы уменьшена.
    -Изменен внешний вид и по причине нововведений, добавлена библиотека lib.dll к файлу exe.

    ...
    -Почти готов и частично опробован новый алгоритм по удалению дублей в большом словаре, который надеюсь превзойдет по скорости известную консольную версию от одного из буржуев...
    Всем спс за внимание!
     
    V777, AlexSP, Toroid and 8 others like this.
  6. scooter

    scooter Member

    Joined:
    13 Aug 2017
    Messages:
    98
    Likes Received:
    26
    Reputations:
    0
    большое спасибо за труды ваши
     
    s9va likes this.
  7. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    866
    Likes Received:
    583
    Reputations:
    9
    Еще добавлю чтобы знали:
    Старая версия проги ExclusiveTDv04.zip она обрабатывает тяж файлы SQL,CSV и другие но по скорости уступает версии ExclusiveTDv05.zip примерно на 30%
    версия ExclusiveTDv05.zip быстрей если вы обрабатываете только TXT
    потому выложены 2 версии в шапке
     
    yurii-angel and CRACK211 like this.
  8. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    840
    Likes Received:
    891
    Reputations:
    4
    Приветствую. Можно попрасить добавить функцию генерации словаря из слова? Допустим я знаю что пароль это слово password. Но в каком регистре не знаю может PassWorD или PaSwOrD и так далее. Можно ли сделать генерацию всех возможных регистров ?
     
    fire-dance likes this.
  9. meteop

    meteop New Member

    Joined:
    26 Feb 2020
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    В файле:
    Code:
    35y2JnGmb5y1,100768923.11111112,609
    rDgezELN54oq,205555.55555555556,453
    9N9VZEQaK,5533.666666666666,515
    
    удаляю десятичные цифры после чисел командой Функции -> Регулярные выражения -> Удаление в тексте (замена)
    использую рег.выражение \.\d* заменить на пустую строку, на выходе получается
    Code:
    35y2JnGmb5y1,100768923
    ,609
    rDgezELN54oq,205555
    ,453
    9N9VZEQaK,5533
    ,515
    
    если отключить "разрыв строки с переходом на новую строку", то получается:
    Code:
    35y2JnGmb5y1,100768923
    ,609rDgezELN54oq,205555
    ,4539N9VZEQaK,5533
    ,515
    
    то есть перенос строки все равно вставляется там же, а переносы строки из первоначального файла удалаются.
    Как сделать так, чтобы переносы строки остались на прежних местах, а новые не появлялись?
     
  10. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    -Добавлено в Настройки, пункт -отключить перевод каретки при удалении, замене(для рег выр), по умолчанию включен
    На главную добавил файл для скачивания версии 0.5.2.
    Результат работы того, чего не хватало для некоторых случаев по вашему вопросу:
    Screenshot_22.jpg
    Screenshot_21.jpg
     
    CRACK211, hydra, Toroid and 1 other person like this.
  11. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    Сделаю
     
    hydra and CRACK211 like this.
  12. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    840
    Likes Received:
    891
    Reputations:
    4
    Еще одна просьба . Можно сделать так чтобы подсказки отабражались дольше или не закрывались вовсе ? Не всегда успеваешь прочесть (
     
  13. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3

    +

    ***
    0.5.3 от 01.03.2020***
    -Время показа подсказок установлено в 1 минуту.
    -Добавлена функция генерации вариантов на регистр букв у требуемого слова(пароля)

    Screenshot_23.jpg

    Screenshot_26.jpg

    Screenshot_24.jpg

    Screenshot_25.jpg
    п.с. ну и ,например, для пароля antichat это уже 256 вариантов)
     
    #213 s9va, 1 Mar 2020
    Last edited: 1 Mar 2020
  14. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    840
    Likes Received:
    891
    Reputations:
    4
    Спасибо большое ) все работает ) нашел то что искал ;)
     
  15. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    Удаление дублей
    Быть может этот эксперимент заслуживает отдельной темы, но я всё-таки размещу этот пост здесь, который обязательно затеряется в этой теме.
    Моя задача состояла в том, чтобы написать свою отдельную функцию для поиска и удаления дублей, которая по скорости превосходила бы те программы, о которых мне известно.
    Пообщавшись на тему удаления дублей, мне стало известно, что одна из лучших программ, которая отлично с этим справляется, является небольшое консольное приложение HK Merge Tool by BlandyUK
    именно на её результаты я и равнялся при разработке отдельной функции для программы, которой посвящена эта тема.
    Для теста был взят загруженный дублями файл.
    Результаты экспериментов осмелюсь выложить тут , функцию еще нужно немного доработать до идеала и для меня пока остается неясным, нужно ли вообще со всем этим(дублями) связываться.

    Screenshot_8.jpg
     
    V777, AlexSP, scooter and 2 others like this.
  16. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    866
    Likes Received:
    583
    Reputations:
    9
    Стоит стоит просто все молча наблюдают)
     
    V777, CRACK211 and AlexSP like this.
  17. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    840
    Likes Received:
    891
    Reputations:
    4
    Можно попрасить добавить функцию (транслитерацию, Вася=Vasya)Или может уже есть я не нашел ?
     
  18. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    есть только Вася=Dfcz в Клавиатура-Реверс раскладки
     
    CRACK211 and ms13 like this.
  19. CRACK211

    CRACK211 Well-Known Member

    Joined:
    16 Sep 2009
    Messages:
    840
    Likes Received:
    891
    Reputations:
    4
    Это реверс, а транслитерацию можно добавить ?
     
  20. s9va

    s9va Active Member

    Joined:
    3 May 2016
    Messages:
    110
    Likes Received:
    280
    Reputations:
    3
    ок
     
    fire-dance and CRACK211 like this.
Loading...