Сортировка текста, Exclusive Tool dictionaries

Discussion in 'Беспроводные технологии/Wi-Fi/Wardriving' started by s9va, 13 Jul 2017.

  1. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    Screenshot_8.jpg

    Инструмент для создания словарей, предназначена для сортировки различного текста большинства текстовых документов для копирования необходимых участков в отдельный файл.
    Программа не претендует на название быть лучшей и создавалась для тех, кому она станет полезной.
    Уверен, что нельзя найти какой-то один общий приём, для того чтобы пользоваться им и применять один и тот-же способ для сортировки в абсолютно различных текстовых документах, но не смотря на это, всё-же уверен, что эта программа подойдёт ко многим типам файлов, чтобы достать, отсортировать, изменить, добавить, дублировать или удалить из текста нужный участок.
    К каждому файлу обязательно понадобится индивидуальный подход при сортировке, для выполнения намеченной цели.

    Возможности программы Exclusive Tool dictionaries
    Изменения или дополнения будут обновляться при выходе новых версий​

    максимальный размер файла - ограничен свободным местом на жестком диске.
    ищет, добавляет, заменяет, переворачивает, дублирует, символы, строки, пробелы, реверс, регистр, цифры, непечатные, чёт-нечет, по всей строке, первый символ или последний, символ выборочно, в начале строк или в конце, макс или мин длина, разбивает на части файлы, собирает файлы в один, перекодирует из uft-8 в ansi и наоборот и прочее, сохраняет результаты с соответствующим именем в отдельный файл
    выполняет различную сортировку по указанным разделителям и не только
    при работе с файлом - создает новый и добавляет в конец имени приставку
    встроенные подсказки, в примерах, почти для каждой обработки с текстом
    возможность поиска по заданным значениям с выбором От и До указанных повторяющихся символов по всему файлу
    возможность задать своё регулярное выражение для поиска текста в файле
    автоматическая разбивка и склейка больших текстовых документов
    вывод в лог сообщений о всех изменениях при работе с файлом или программой

    Перечень всех функций...смотрите так-же Список обновлений и изменений
    По разделителю (настраиваемый):
    -по всей строке
    -до первого разделителя или после первого
    Найти:
    -первой будет буква от 8 символов
    -цифры от 8 до 64
    -цифры буквы от 8 до 64
    -от 8 только цифры и буквы
    -от 8 и + login из login@email.ru
    -IP-адреса или почту Em@il или MD5 или адреса сайтов или FTP
    Найти между (настраиваемый):
    -переменными От и До(указать обе)
    -разделителем если их два в строке
    Удалить:
    -символ первый в строке или последний
    -символы непечатные
    -непечатные управляющие
    -выборочно(указать)
    -строки четные или нечетные
    -задать макс или мин длину строк остальные удалить
    -цифры в начале,в конце, по всему тексту, содержащие 8,9 10,11
    -строки содержащие только цифры
    -всё кроме английского, всё кроме английского менее 8 симв, всё кроме английского и до символов
    -слова, символ(ы) в начале или в конце строк

    Удалить Пробелы:
    - в начале строки, в конце, между строк, табуляцию
    -удалить ip, md5, em@il, сайты или фтп
    -удалить русский текст
    Добавить:
    -в начало строки, в конец, в текст
    Заменить одно на другое(указать)
    Перевернуть каждую строку задом наперед
    Изменить :
    -первую букву в ВЕРХНИЙ регистр или нижний
    -весь текст в ВЕРХНИЙ регистр (ANSI) или в нижний
    -реверс заглавных букв в строчные или наоборот
    Дублирование:
    -первого символа или последнего
    -всей строки
    -строки + для перв символ смена региста + в смена регистра
    Реверс раскладки клавиатуры с ENG на RU или наоборот
    Разбить файл на равные части
    Соединить несколько файлов в один
    Смена кодировки:Ansi -> UTF8 или UTF8 -> Ansi
    Настройки вкл/откл:
    -звук по окончании
    -всегда сохранять с одним названием
    -разрыв строки с переходом на новую строку
    Функции для самостоятельной вставки регулярных выражений по поиску и удалению(замене)
    Переход из программы на страницу форума
    Важно!!!
    -При работе с файлом или словарем, программа должна находиться рядом.
    -Кодировка для входящих файлов желательна в ANSI (1251 при работе с рус текстом).
    Многие функции работают и с форматом UTF-8 без Bom, но при возникновении проблем с файлом - удалите непечатные управляющие символы и(или) cмените кодировку файла на ANSI встроенной процедурой Файлы - Смена кодировки или самостоятельно с помощью сторонних программ, чтобы текст был читаем.

    На заметку!!!
    В качестве примера, иногда чтобы что-то найти, лучше лишнее удалить.

    Некоторые функции программы могут или не так работать или-же, не настолько, как Вам бы этого хотелось... поэтому о всех замечаниях, критике, предложениях по улучшению, исправлению, изменению - отображать свои мысли в постах этой темы и главное помнить, что программа не несёт в себе никакой коммерческой цели и создана исключительно из благих намерений.
    ...
    Благодарность пользователю Fire-Dance за тестирование проги и указания в ней всех тех функций, которые были внесены мной в программу.

    ***0.6.3 от 23.05.2020***
    -Авто-удаление для вх-вых файлов по пунктам.
    -Расширен выбор при сортировке и сравнении.
    ***0.6 от 02.05.2020***
    - Добавлен
    генератор по маске
    -Удалены за ненадобностью( из-за появления генератора) - функции связанные со случайными числами
    ***0.5.9 от 27.04.2020***

    -Полностью переделана функция Удаления непечатных символов.
    -Добавление Удалить- Символы - Всё что после и вместе с ним (указать)
    -Добавлено сохранять всегда с одним именем....полезно при многих операциях с файлом.
    ***0.5.8 от 24.04.2020***
    Для Сравнение файлов, добавлено:
    -удалить менее 8-и символов
    -удалить любые пробелы, табуляцию, пустые строки
    -изменил окончания строк на формат винды

    -удаление MAC
    ***0.5.4 ... 0.5.7 от 19.04.2020***
    - Разбить текст по указанным символам
    - Расширенное сравнение двух файлов(словарей) без ограничений по размеру файла
    - Сортировка без ограничений по размеру файла
    ***
    0.5.3 от 01.03.2020***
    -Время показа подсказок установлено в 1 минуту.
    -Добавлена функция генерации вариантов регистра букв для требуемого слова(пароля).
    ***
    0.5.2 от 27.02.2020***

    -Добавлен в Настройки пункт -отключить перевод каретки при удалении, замене(для рег выр), по умолчанию включен
    ***0.5 от 21.10.2019***
    -Функции Разбивка и соединение файлов переписаны с нуля и достигли почти критического состояния для виндоус:eek:)..как показали тесты, то на файлах 4 и 12 ГБ, скорость сравнилась с линукс, при этом обязательно учитывается целостность первой и последней строки для каждого блока, ну а подобие для винды по скорости и размеру значительно уступали из тех, что были найдены для сравнения.
    Работа каждой функции тоже выросла, поскольку большая часть этого алгоритма участвует в работе.
    За тесты спс двум хорошим людям, hydra и fire-dance
    -Для приложения добавлена новая кнопка в заголовке меню - Масштаб: 100, 125 и 150 %
    -Прежние подсказки для функций теперь отображаются в отдельных всплывающих окнах и ширина формы уменьшена.
    -Изменен внешний вид и по причине нововведений, добавлена библиотека lib.dll к файлу exe.
    ***0.4.9 от 28.09.2019***
    Значительное увеличение скорости обработки для одной из основных функций (в три раза):
    -разбить по всей строке по указанному разделителю
    ***0.4.8 от 25.09.2019***
    Добавлено:

    - Удалить текст - слова, символ(ы) в начале и в конце строк (выборочно указать)
    ***0.4.7 от 25.09.2019***
    Добавлено:
    -Дублирование строки + для перв символ смена региста + в смена регистра
    ***0.4.6 от 25.09.2019***
    Добавлено:
    -удалить-текст-слова, символ(ы) в начале строк
    -удалить-текст-слова, символ(ы) в конце строк
    ***0.4.5 от 24.09.2019***
    -добавил удалить все кроме англ и доп символов (по просьбе scooter)
    Две новых, для самостоятельной вставки рег выражения:
    -удаление в тексте(замена, разбить)
    -поиск по тексту
    Две последних с рег выраж, возможно придется корректировать в дальнейшем, мог что-то не так сделать для результата, но в целом, должно быть верно
    ***0.4.4 от 17.09.2019***
    Добавлено:
    -Удалить - Текст - всё кроме английского
    -Удалить - Текст - всё кроме английского и менее 8 симв
    -Удалить - Символы - непечатные.....дополнительно добавлены символы „…€©™• для удаления из текста


    ***0.4.3 от 16.09.2019***
    Добавлены:
    -удалить пробелы по всему тексту, пробелы в начале и в конце, англ текст, табуляцию, сайты или фтп
    Оптимизировано:
    -теперь удаляет сразу временный файл после того, как обработает шаг

    ***04 от 10.09.2019***
    - Основная кодировка программы ANSI(1251)
    - Исправлены и увеличены скорость обработки для уже существующих некоторых функций
    - Для большинства функций - выводятся подсказки в примерах
    - Добавлено настолько большое количество новых функций для обработки текста, что нет смысла перечислять их все.
    - Автоматич обновл удалено
    - Добавлены пункты в Меню - Настройки, Файлы, Ресурсы, переход на эту страницу форума античат
    ***Обновление 03 от 23.08.2017***
    - Добавлена новая функция :
    удаление пробелов в конце
    - В программе реализована система оповещения при
    выходе обновлений программы
    ***02 от 19.08.2017***
    -значительно ускорена функция удаления меньше 8, спс пользователю с ником scooter за подсказку о её медленной работе
    ***Версия 01 от 14.07.2017***
    - Первая версия программы
    -------------------------------------
    Новая версия программы может находиться иногда на последних страницах темы
    fire-dance - 2200 руб.
    CRACK211 - 1470 руб.
    Petr Sitkin - 655 руб.
     

    Attached Files:

    #1 s9va, 13 Jul 2017
    Last edited: 8 Jun 2020
  2. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    882
    Likes Received:
    603
    Reputations:
    10
    Спасибо друг!
    Стандарт файлик краткая инструкция как я все делаю и достаю с всяких файлов..
    Допустим есть в словаре мыла,ип,ники ,цифры(практически они не нада ),разделители которые вы можете указать на любой.
    1. Сверху смотрим "функции" найти "почту email"
    выбираем словарь с компа,оно сделало скинули в другую папку чтобы не путаться.
    2 . Повторяем все только выбираем удалить "почту email" чтобы сократить наш словарь, основной словарь удаляем и берем наш уже меньший размером словарь.
    3. Повторяем все только выбираем удалить "ip"
    4. Повторяем все только выбираем удалить "md5"
    5. Остаются у нас разделители убрать.. по умолчанию стоит : разделитель чтобы сменить разделитель нужно зайти в переменные,изменить,разделитель и вписать что нужно...
    Естественно нужно изначально хотя бы глазом глянуть на ваш словарик что нужно убрать чтобы разорвать строку и сместить на новую,
    потому проделываем до тех пор пока не удаляться все строки с нужными вам разделителями,каждый подход с словарю разный но метот который я выше описал он позволяет максимально взять с словаря то что нужно не удалив лишнего кроме ваших разделителей...
    PS Сильно не пинать месяц может больше Сява потратил чтобы сделать сие чудо
    Спасибо тебе Сява за реализацию проекта!!!
     
    s9va and scooter like this.
  3. antis17

    antis17 Well-Known Member

    Joined:
    25 Apr 2017
    Messages:
    140
    Likes Received:
    941
    Reputations:
    5
    Может хорошо было сделать, не только удалять (хеши, майлы, 8-ные числа), а перемещать их в другой словарь?
     
  4. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    так, а ничего ведь не мешает полученные результаты разместить там, где это вам необходимо, ведь вы можете производить различные операции с файлом и уже по завершении переместить их где вам удобно и как удобно объединив их в отдельный файл например, почту к почте, пароли к паролям..
     
  5. fire-dance

    fire-dance Well-Known Member

    Joined:
    12 May 2015
    Messages:
    882
    Likes Received:
    603
    Reputations:
    10
    Забыл добавить что еще есть супер фишка в проге
    допустим у вас есть словарь с мылами
    вот что делает
    пример:
    vasa1234@mail.ru

    сохраняет именно ник
    получается
    vasa1234
     
    s9va likes this.
  6. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    апдейт, исправлена одна критическая ошибка при создании ,связана с глобальной переменной и из-за которой как оказалось, не работало около половины функций, файл перезалил по той-же ссылке
     
    scooter likes this.
  7. ms13

    ms13 Well-Known Member

    Joined:
    19 Jun 2015
    Messages:
    2,770
    Likes Received:
    13,917
    Reputations:
    116
    как оказалось...
     
  8. afonn

    afonn Member

    Joined:
    10 Aug 2015
    Messages:
    117
    Likes Received:
    38
    Reputations:
    0
    перезалиЛ? кагда и куда данные могут сливаться
    [​IMG]
     
  9. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    о каких данных идёт речь?
     
  10. afonn

    afonn Member

    Joined:
    10 Aug 2015
    Messages:
    117
    Likes Received:
    38
    Reputations:
    0

    я просто подозреваю что любых с которыми я работаю в програмке этой ведь код исходный ты не даешь или я не прав ?
     
  11. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    ты не прав уже в том, что безосновательно предъявляешь мне какие-то претензии...если есть какие-то факты, то прошу их предъявить
     
  12. afonn

    afonn Member

    Joined:
    10 Aug 2015
    Messages:
    117
    Likes Received:
    38
    Reputations:
    0
    я не предъявляю ,а спрашиваю , а на то как человек отвечает ,в этом и есть ответ на твой вопрос не будь слишком предвзятым !
    зато я вижу что нормально :)
     
  13. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    без обид, если найдутся недочеты при работе с текстом или пожелания о новых возможностях, прошу оставлять их здесь в обсуждении для учета в следующих обновлениях
     
    scooter, Andrey9999 and afonn like this.
  14. afonn

    afonn Member

    Joined:
    10 Aug 2015
    Messages:
    117
    Likes Received:
    38
    Reputations:
    0
    без проблем я давно искал нечто подобное по этому и подписался :D
     
  15. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    возможно в дальнейшем я прикручу к этой проге парсер для сайтов, который будет таким-же универсальным
     
    scooter likes this.
  16. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    залей кусок этого файлика , размером примерно в 25мб, посмотрю, что не так...или ему подобным, не важно в принципе
     
    scooter likes this.
  17. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    изменил значительно функцию Удаления меньше 8и символов и присланный тобою файл в 150 мб теперь отработал на моем слабеньком железе за 25 сек, немного позже сделаю обнову
     
    scooter likes this.
  18. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    прогу перезалил, проверь эту функцию пожалуйста на том-же файле, который по времени у тебя занимал от 7-10 мин и отпишись о результатах по возможности:)
     
    scooter likes this.
  19. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    да можно будет прикрутить..ок
     
    scooter likes this.
  20. s9va

    s9va Well-Known Member

    Joined:
    3 May 2016
    Messages:
    126
    Likes Received:
    320
    Reputations:
    3
    вот присланный тобой файл, который я обработал и залил http://zalil.su/1154035 ..по времени заняло чуть более 20сек...посмотри внимательно, возможно, что-то не то делаешь
     
    scooter likes this.
Loading...