обзор программ удаляющиx дубликаты строк

Discussion in 'Skype, IRC, ICQ, Jabber и другие IM' started by Vanterlog, 11 Jul 2009.

  1. madhatter

    madhatter Member

    Joined:
    7 Aug 2013
    Messages:
    577
    Likes Received:
    49
    Reputations:
    54
    В принципе, строк десять кода. Если дубликатов - значительное большинство - и того меньше. А можно не париться и тупо воткнуть своп на 50гб, лол.
     
  2. Freesty1er

    Freesty1er New Member

    Joined:
    18 Mar 2010
    Messages:
    7
    Likes Received:
    0
    Reputations:
    0
    Шаман

    Хит, решил следующим бабайским способом:
    Всего было 30к строк. Сгенерировал 30к уникальных слов ЫЯЫ{num}ЩЫЫЩ и поместил в первый столбец. Потом во второй вогнал мои строки. Скопировал все в Sublime Text и разделитель ячеек [TAB] заменил переходом на новую строку. Итого вышло:
    Потом удалил дубликаты строк, и назад заменил переходы на новую строку на ТАБы. Снова в таблицу, берем только второй столбец - ГОТОВО! :D
     
  3. vladb95z-sof

    vladb95z-sof New Member

    Joined:
    26 May 2013
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    это ведь не все программы? есть еще чтото подобное?
     
  4. madhatter

    madhatter Member

    Joined:
    7 Aug 2013
    Messages:
    577
    Likes Received:
    49
    Reputations:
    54
    >> Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

    I love seflquoting!
     
  5. ШматоК

    ШматоК Banned

    Joined:
    1 Dec 2010
    Messages:
    40
    Likes Received:
    1
    Reputations:
    0
    Неплохая подборка!
     
  6. kelvin

    kelvin New Member

    Joined:
    10 Sep 2013
    Messages:
    1
    Likes Received:
    0
    Reputations:
    0
    Спасибо очень нужны были такие проги.
     
  7. infobisgod

    infobisgod New Member

    Joined:
    17 Feb 2013
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    вот без программ, онлайн штуко
    правда для 50 гигов не подойдет :)
     
  8. WPx

    WPx Banned

    Joined:
    21 Jan 2014
    Messages:
    38
    Likes Received:
    10
    Reputations:
    16
    Посоветуйте Актуальный софт для задач:
    1. 258 словарей имею - без объединения убрать Дубликаты, пробелы а так же символы которые не бугут быть в реалпассе.
    2. желательно с Настройками пример привести.
     
  9. xoorb1

    xoorb1 New Member

    Joined:
    20 Mar 2011
    Messages:
    12
    Likes Received:
    1
    Reputations:
    1
    Хоть сообщение и старое, отвечу) т.к. сам искал. Нашел вот это http://solutionfix.org/soft/doublers/
     
    alkos likes this.
  10. dmz117

    dmz117 New Member

    Joined:
    14 Jan 2016
    Messages:
    2
    Likes Received:
    0
    Reputations:
    0
    а разве notepad++ такого не делает?
     
  11. GSLLL

    GSLLL New Member

    Joined:
    9 Dec 2015
    Messages:
    39
    Likes Received:
    2
    Reputations:
    0
    Может кто подскажет, как вычесть один текстовый документ из другого, т.е. чтобы в двух текстовиках не было одинаковых строк (чтоб из двух одинаковых слов, в одном документе слово удалялось , а в другом оставалось) ?
     
  12. Bamond

    Bamond New Member

    Joined:
    9 Sep 2012
    Messages:
    8
    Likes Received:
    0
    Reputations:
    0
    ePochta List Manager
     
  13. grimnir

    grimnir Reservists Of Antichat

    Joined:
    23 Apr 2012
    Messages:
    1,117
    Likes Received:
    761
    Reputations:
    200
    textpipe ,есть в разделе софт
     
    _________________________
    alkos and Veil like this.
  14. sachkat

    sachkat New Member

    Joined:
    15 Jul 2015
    Messages:
    18
    Likes Received:
    0
    Reputations:
    0
    ^(.*)(\r?\n\1)+$ and replacing with \1
     
Loading...