Поиск дублей файлов средствами windows

Всем привет сегодня хочу рассказать как найти дубликаты файлов в Windows 10. Поиск дубликатов файлов, обычно хорошо проводить когда у вас на компьютере полная не неразбериха и начинает заканчиваться место, ну или просто решили прибраться у себя на жестком диске. В решении данной задачи нам поможет не безызвестная бесплатная программа ccleaner.

Поиск дублей файлов с помощью ccleaner

Недавно я рассказывал уже Как уничтожить данные с компьютера и там нам тоже помогла утилита ccleaner. Уверен,что далеко не все знают, что с помощью нее можно производить поиск дубликатов файлов на компьютере. Открываем ccleaner и переходим в пункт Сервис-Duplicate Finder.

поиск дубликатов файлов

Теперь выберем размер файлов для поиска, локальный диск где будет искать ccleaner. Жмем Найти

Выбор параметров поиска

Если программа найдет файлы соответствующие нашим требованиям заданным ранее, то вы увидите нечто подобное, имя файла и где лежат дубликаты.

Как только утилита закончит сканирование вы увидите сообщение, что поиск файлов завершен.

Вообще ccleaner очень мощная утилита, с довольно большим функционалом, который с каждого релиза новой версии, только увеличивается, плюс большим преимуществом является,ч то она полностью бесплатная, у нее конечно есть платная версия, но она нацелена больше на корпоративный сегмент рынка, для больших компаний. Из выше сказанного можно сделать ввод,что данная утилита должна всегда присутствовать на вашем компьютере или ноутбуке и помогать вам в повседневной жизни. Конечно поиск дубликатов файлов делается и другими утилитами, но ни одна из них не сравнится по мощности с ccleaner.

PS был случай что у моего приятеля с помощью такого метода мы смогли разгрузить его HDD на 27 гигабайт, которые занимали дубликаты.

Поиск дублей файлов с помощью GlaryUtilities

Эту же задачу, легко и более профессионально решает, новая утилита появившаяся в моем инструментарии и называется она GlaryUtilities, у меня она пятой версии. GlaryUtilities платная, но ее функционал реально стоит своих денег. Запускаем ее. Выбираем Удаление дубликатов в области Дисковое пространство.

Если у вас больше локальных дисков, то укажите какие именно нужно будет сканировать данной утилитой.

Начинается поиск дублей файлов, у меня в компьютере стоит ssd диск, поэтому на все про все ушло две минуты, еще конечно от объема диска зависит и количества файлов на нем.

В итоге ф вижу результат, он разбит на категории:

• Документы > тут в основном текстовые файлы, но и тут я могу сэкономить 281 мегабайт
• Картинки > у меня это в основном фотографии, но даже тут я у себя смог найти 14 гб дублей.
• Другие > тут все остальное, это могут быть системные файлы

Как видите поиск дублей файлов не такая уж и сложная и долгая задача, больше времени вы потратите на сравнивание этих копий, но от этого уже никуда не деться.

Поиск дубликатов файлов Windows

В этой инструкции о нескольких бесплатных и простых способах найти дубликаты файлов на компьютере в Windows 10, 8 или 7 и удалить их при необходимости. Прежде всего речь пойдет о программах, которые позволяют выполнить поиск дубликатов файлов, но, если вас интересуют способы интереснее, в инструкции затронута и тема их поиска и удаления с помощью Windows PowerShell.

Для чего это может потребоваться? Почти у любого пользователя, который достаточно продолжительное время сохраняет архивы фотографий, видео, музыки и документов к себе на диски (не важно, внутренние или внешние хранилища), с огромной вероятностью «образуются» дубликаты одних и тех же файлов, занимающие лишнее место на HDD, SSD или другом накопителе.

Это не особенность Windows или систем хранения, скорее — особенности нас самих и результат значительного объема хранимых данных. И, может оказаться, что найдя и удалив дубликаты файлов, вы сможете освободить значительное место на диске, а это может быть полезным, особенно для SSD. См. также: Как очистить диск от ненужных файлов.

Важно: не рекомендую выполнять поиск и удаление (особенно автоматическое) дубликатов сразу на всём системном диске, указывайте в приведенных программах ваши пользовательские папки. Иначе есть значительный риск удалить необходимые системные файлы Windows, которые нужны более чем в одном экземпляре.

AllDup — мощная бесплатная программа для поиска дубликатов файлов

Бесплатная программа AllDup доступна на русском языке и содержит все необходимые функции и настройки, имеющие отношение к поиску дубликатов файлов на дисках и в папках Windows 10 – XP (x86 и x64).

Среди прочего поддерживается поиск на нескольких дисках, внутри архивов, добавление фильтров файлов (например, если нужно найти только дубликаты фотографий или музыки или исключить файлы по размерам и другим характеристикам), сохранение профилей поиска и его результатов.

По умолчанию, в программе сравнение файлов происходит только по их именам, что не очень разумно: рекомендую сразу после начала использование включить поиск дубликатов только по содержимому или хотя бы по имени и размеру файла (эти настройки можно изменить в «Метод поиска»).

При поиске по содержимому файлы в результатах поиска сортируются по их размеру, доступен предварительный просмотр для некоторых типов файлов, например, для фотографий. Чтобы удалить ненужные дубликаты файлов с диска, отметьте их и нажмите кнопку слева вверху в окне программы (Файл-менеджер для операций с выбранными файлами).

Выберите, полностью ли их удалить или переместить в корзину. Допустимо не удаление дубликатов, а их перенос в какую-либо отдельную папку или же переименование.

Подводя итог: AllDup функциональная и настраиваемая утилита для быстрого и удобного поиска дубликатов файлов на компьютере и последующих действий с ними, к тому же с русским языком интерфейса и (на момент написания обзора) чистая от какого-либо стороннего ПО.

Скачать AllDup можно бесплатно с официального сайта http://www.allsync.de/en_download_alldup.php (там же присутствует и portable версия, не требующая установки на компьютер).

DupeGuru

Программа DupeGuru — еще одна отличная бесплатная программа для поиска дубликатов файлов на русском языке. К сожалению, разработчики с недавних пор перестали обновлять версию для Windows (но обновляют DupeGuru для MacOS и Ubuntu Linux), однако имеющаяся на официальном сайте https://dupeguru.voltaicideas.net/ версия для Windows 7 (внизу страницы) прекрасно работает и в Windows 10.

Все что потребуется для использования программы — добавить папки для поиска дубликатов в список и запустить сканирование. По его завершении вы увидите список найденных дубликатов файлов, их расположение, размеры и «процент», на сколько этот файл совпадает с каким-либо другим файлом (по любым из этих значений можно отсортировать список).

При желании, вы можете сохранить этот список в файл или отметить файлы которые требуется удалить и сделать это в меню «действия».

Например, в моем случае одна из тестировавшихся недавно программ, как оказалось, скопировала свой файлы установки в папку Windows и оставила там (1, 2), забрав у меня драгоценные 200 с лишним Мб, этот же файл остался и в папке загрузок.

Как видно на скриншоте, отметка для выбора файлов есть только у одного из найденных образцов (и только его можно удалить) — при этом в моем случае логичнее удаление не из папки Windows (там, в теории, файл может быть нужен), а из папки загрузок. Если выбор нужно изменить, отметьте файлы, которые не нужно удалять и затем, в меню правого клика мыши — «Сделать выбранные эталоном», тогда отметка для выбора исчезнет у текущих файлов и появится у их дубликатов.

Думаю, с настройками и остальными пунктами меню DupeGuru у вас не составит труда разобраться: все они на русском и достаточно понятны. А сама программа ищет дубликаты быстро и надёжно (главное не удаляйте какие-либо системные файлы).

Duplicate Cleaner Free

Программа для поиска дубликатов файлов на компьютере Duplicate Cleaner Free — еще одно скорее хорошее, чем плохое решение, особенно для начинающих пользователей (на мой взгляд, этот вариант проще). Несмотря на то что сравнительно ненавязчиво предлагает приобрести Pro версию и ограничивает некоторые функции, в частности поиск только одинаковых фотографий и изображений (но при этом доступны фильтры по расширениям, что позволяет также искать только картинки, возможен поиск только одинаковой музыки).

Также, как и предыдущие программы, Duplicate Cleaner имеет русский язык интерфейса, но некоторые элементы, судя по всему, были переведены с использованием машинного перевода. Тем не менее, почти всё будет понятно и, как было упомянуто выше, работа с программой скорее всего будет очень простой для начинающего пользователя, которому потребовалось найти и удалить одинаковые файлы на компьютере.

Скачать бесплатно Duplicate Cleaner Free вы можете с официального сайта https://www.digitalvolcano.co.uk/dcdownloads.html

Как найти дубликаты файлов с помощью Windows PowerShell

При желании, можно обойтись без сторонних программ для поиска и удаления дубликатов файлов. Недавно я писал о том, как вычислить хэш файла (контрольную сумму) в PowerShell и эту же функцию можно использовать для поиска одинаковых файлов на дисках или в папках.

При этом, можно найти множество различных реализаций скриптов Windows PowerShell, позволяющих найти дубликаты файлов, вот некоторые варианты (сам я не специалист по написанию таких программ):

Ниже на скриншоте — пример использования слегка модифицированного (чтобы он не удалял дубликаты файлов, а отображал их список) первого скрипта в папке изображений (где лежат две одинаковые картинки — те же, что нашла программа AllDup).

Если для вас создание скриптов PowerShell — привычное дело, то, думаю, в приведенных примерах вы сможете найти полезные подходы, которые помогут реализовать поиск дубликатов файлов необходимым именно вам способом или даже автоматизировать процесс.

Дополнительная информация

Помимо приведенных программ поиска дубликатов файлов, есть много других утилит такого рода, многие из них не бесплатны или ограничивают функции до регистрации. Также при написании этого обзора попались программы-пустышки (которые делают вид, что ищут дубликаты, а по факту лишь предлагают установить или купить «основной» продукт) от довольно-таки именитых разработчиков, которые у всех на слуху.

На мой взгляд, свободно распространяемые утилиты для поиска дубликатов, особенно первые две из данного обзора, более чем достаточны для любых действий по поиску одинаковых файлов, в том числе музыки, фотографий и картинок, документов.

Если же приведенные варианты вам показались не достаточными, при загрузке других найденных вами программ (да и перечисленных мною — тоже) будьте внимательны при установке (во избежание установки потенциально нежелательного ПО), а еще лучше — проверяйте загружаемые программы с помощью VirusTotal.com.

А вдруг и это будет интересно:

Почему бы не подписаться?

Рассылка новых, иногда интересных и полезных, материалов сайта remontka.pro. Никакой рекламы и бесплатная компьютерная помощь подписчикам от автора. Другие способы подписки (ВК, Одноклассники, Телеграм, Facebook, Twitter, Youtube, Яндекс.Дзен)

19.11.2016 в 00:06

Где на офсайте скачать DupeGuru для Виндовс? Просмотрел все страницы на английском и в переводе, не нашел!

19.11.2016 в 06:26

Внизу страницы берем DupeGuru for Windows 7 x64 (в 10-ке работает, проверено).

16.12.2016 в 14:02

Здравствуйте! Подскажите, пожалуйста, бесплатную программу для поиска дубликатов, которая «слушает» музыку. Большинство программ повторяющиеся файлы считают за два разных, если в названии копии есть, например, цифра.

17.12.2016 в 07:14

Здравствуйте. Это не так: приведенные программы не по названиям смотрят, а именно по содержимому файлов, что почти равно «слушает».
Другое дело, что у вас может одна песня быть из разных источников (т.е. с разным качеством кодирования, другой человек записывал), соответственно дело тогда не в разнице в букве, а именно в том, что сами данные в файлах отличаются, хоть на слух и могут быть почти одинаковыми. А вот для такой ситуации я решения не знаю и даже думаю, что его, наверное, и нет (потому что даже если заставить компьютер «слушать» такие файлы, они для него окажутся разными, у него «слух» лучше).

08.06.2017 в 02:26

Поиск дубликатов встроен в популярный файл-менеджер Total Commander, поэтому никакие дополнительные программы не требуются. Присутствует поиск по размеру и содержимому.
Кроме того, существует полезная программа для поиска дубликатов картинок — DupDetector.
Её интеллектуальные алгоритмы находят одинаковые изображения, даже если они имеют разный графический формат (jpg и bmp, к примеру), разное разрешение в пикселях, и даже некоторое отличие в графике (к примеру, в одном из изображений наложена подпись или рамка).

11.06.2017 в 19:35

Спасибо Вам за Вашу работу!
От себя хотел добавить, что дубликаты умеет искать Ccleaner, еще программа AntiDupl ищет похожие изображения, бесплатна и имеет портативный вариант, и еще программа CloneSpy, но ей я перестал пользоваться, когда антивирус что-то в ней нашел. И сейчас при проверке на VT имеются 3 срабатывания, возможно, ложные.

08.09.2017 в 10:10

Здравствуйте. А если программа находит дубликаты файлов в игре (у меня нашла в фифа) можно ли их удалять?

08.09.2017 в 10:15

Я бы не стал. Мало ли, вдруг они там напрограммировали так игру, что нужны в двух местах эти файлы.

08.09.2017 в 10:25

05.10.2018 в 00:19

я бы в обзор добавил
easyduplicatefinder.com

и тут же пару программ не для дублей, но для просмотра занятости дисков в графическом виде —
DiskSpaceScanner от Steffen Gerlach, а так же TreeSize бесплатную и про jam-software.com

05.10.2018 в 09:56

Про графическое представление чем занято место на диске есть отдельный материал: https://remontka.pro/mesto-na-diske/

05.07.2019 в 10:40

Добрый день Dmitry.
Я почти всё перепробовал из представленного, хотя у меня другая задача и я хотел спросить, не скажите ли Вы какая программа может находить не дубликаты файлов, а похожие фото?
Проблема в том что даже немного обрезанные фото и подлинник почти невозможно найти как похожие фотографии.
С уважением, Александр.

05.07.2019 в 12:22

Здравствуйте.
Нашел вот такую программку: duplicatephotocleaner.com
Пишут, что именно «смотрит» фото, а не просто сравнивает файлы. Сам не пробовал, никаких гарантий не даю.

01.10.2019 в 14:26

Здравствуйте! Подскажите как найти одинаковые папки?

02.10.2019 в 14:42

По идее, поиск дубликатов файлов поможет: пути ведь указываются к папкам и если мы видим, что две папки содержат наборы дубликатов, видимо — одинаковые.
А вот чтобы чисто папки одинаковые показывало — даже не знаю, возможно и что-то перечисленное выше так умеет, но лично не пробовал.

02.10.2019 в 17:02

09.10.2019 в 11:32

Здравствуйте. Проверил диск С программой dupeGuru метод stanbard, тип — content. Программа нашла более 91т дубликатов со 100% совпадением. Выбрал их на удаление, применил действие -удалить-. В программе они удалились, но после повторного сканирования опять на своём месте оказались! Что не так делаю?

09.10.2019 в 15:29

Здравствуйте.
А что за файлы? Теоретически, что-то в системе задублированное просто может быть.

19.01.2020 в 10:24

dupeGuru теперь находится по адресу : dupeguru.voltaicideas.net/

20.01.2020 в 09:56

20.06.2020 в 11:32

У меня задача искать дубликаты файлов и одной папки в другой папке.
(нужно навести порядок на 4-х дисках с фотографиями)
размеры папок от 250гб до 1 тб. Полное сканирование — очень долго и не совсем то что мне нужно.
не могу найти способ (кроме написания скрипта).
Подскажите какая программа это может. Поставил alldup — не нашел там вариантов. В Totale тоже не понимаю как это можно сделать. Если скрипт писать то нужно какой то интерфейс типа как в тотале, т.к ручками придется выбирать что откуда удалять, а путь к каждой папке командной строке набирать — очень муторно.
Нашел способ. В тотале синхронизацию каталогов можно настроить. Галку ассимитрично поставить и все работает.
2 часа тупил до этого 🙂

Нет поторопился 🙂
при синхронизации ему все же одинаковая структура папок нужна.
Вопрос остается в силе.

21.06.2020 в 10:23

Не могу предоставить ответа «из головы». Так как все-таки не та задача, которой лично занимаюсь, а тут нужен бы эксперимент: сам бы как и вы искал бы и пробовал.

28.08.2020 в 22:30

Для вашей задачи есть 2 программы.

1. ASDSee — имеет мощную опцию Поиск дупликатов файлов.
Позволяет сравнивать файлы из двух расположений.
Может искать по содержимому и по имени.
Изображения отображаются в окошке просмотра.
Это самая лучшая программа сравнения перед которой я снимаю шляпу.
2. VisiPics — мощная программа для поиска Одинаковых и Похожих изображений.
Очень удобный интерфейс.
Сама может выбрать файлы худшего качества для удаления.
Имеет много настроек.