Поиск дубликатов файлов в архивах

Это основные преимущества инструмента.

• Сравнение хешей SHA-256: наш поиск дубликатов использует Web Crypto API для вычисления хешей SHA-256 каждого файла в ваших архивах. SHA-256 криптографически стойкий и устойчивый к коллизиям, что гарантирует 100%-ную идентичность файлов с одинаковым хешем.
• Приватность на 100% в браузере: ваши архивы никогда не покидают устройство. Вся проверка, вычисление хешей и поиск дубликатов происходят локально в браузере с помощью JSZip и Web Crypto API. Без загрузки на сервер, без облачного хранения, без утечки данных.
• Проверка нескольких архивов: загружайте сразу несколько ZIP-архивов и проверяйте их одновременно. Инструмент находит дубликаты как внутри одного архива, так и между разными архивами, давая полную картину избыточности вашей коллекции файлов.
• Анализ потерянного места: каждая группа дубликатов показывает, сколько именно места теряется. Инструмент вычисляет общий объём потерянных байтов по всем дубликатам и показывает коэффициент дедупликации, помогая решить, какие дубликаты удалить первыми для максимальной экономии.

Это наиболее частые сценарии.

• Очистка облачных резервных копий: скачайте ZIP-файлы облачных резервных копий и проверьте их на дубликаты. Найдите лишние копии одних и тех же документов, фотографий или конфигураций, которые зря расходуют ваш облачный лимит.
• Аудит архивов экспорта данных: при экспорте данных из нескольких систем файлы часто дублируются между экспортами. Проверьте архивы экспорта на дубликаты CSV, JSON или отчётов перед объединением для анализа.
• Оптимизация дистрибутивов ПО: архивы дистрибутивов часто содержат дублирующиеся файлы библиотек, ресурсов или документации в разных пакетах. Используйте поиск дубликатов, чтобы найти избыточность и уменьшить размер дистрибутива.
• Консолидация старых архивных коллекций: со временем в коллекциях архивов накапливаются лишние файлы. Проверьте все исторические ZIP-файлы на дубликаты в коллекции и объедините их в единый дедуплицированный набор.
• Снижение затрат на хранение резервных копий: архивы резервных копий часто содержат одни и те же файлы в нескольких циклах. Определение дублирующихся файлов между ZIP-копиями помогает правильно спланировать стратегию резервного копирования и снизить расходы на хранение.
• Подготовка архивов к миграции: перед переносом архивов между системами хранения или облачными провайдерами проверьте их на дубликаты. Удаление лишних файлов до миграции сокращает время передачи, расходы на трафик и требуемое место в получателе.

Поиск дубликатов файлов в архивах — это процесс проверки содержимого ZIP-файлов (и других архивных форматов) для выявления файлов с идентичным содержимым. Наш поиск дубликатов извлекает каждый файл из загруженных ZIP-архивов, вычисляет его криптографический хеш SHA-256 с помощью встроенного Web Crypto API браузера и группирует файлы с совпадающими хешами. Файлы с одинаковым хешем SHA-256 гарантированно совпадают байт в байт, что делает этот метод очень точным способом поиска дубликатов.

Выполните эти три шага.

1. 1 Загрузите архивы: перетащите один или несколько ZIP-файлов в область загрузки или нажмите, чтобы выбрать их. Можно проверять несколько архивов сразу, чтобы найти дубликаты внутри и между архивами.
2. 2 Вычисление хешей: инструмент извлекает каждую запись файла и вычисляет её хеш SHA-256 с помощью Web Crypto API. Файлы обрабатываются параллельно внутри каждого архива для максимальной производительности. Содержимое каждого файла читается и хешируется локально в браузере.
3. 3 Группировка и анализ дубликатов: файлы с совпадающими хешами группируются. Для каждой группы дубликатов инструмент вычисляет потерянное место (размер × (копий - 1)), показывает все пути файлов с их исходными архивами и отмечает, какая копия была бы сохранена. Сводка показывает общий коэффициент дедупликации и общее потерянное место.

Вот что показывает каждая часть отчёта.

• Группы дубликатов: каждая группа — это набор файлов с идентичным содержимым. Первое вхождение (отмеченное как «сохранено») — то, которое осталось бы при удалении дубликатов.
• Расчёт потерянного места: для каждой группы дубликатов потерянное место = размер файла × (число копий - 1). Например, файл размером 5 МБ, встречающийся 4 раза, теряет 15 МБ. Общее потерянное место — сумма по всем группам.
• Коэффициент дедупликации: это процент уникальных файлов (уникальные / всего). Коэффициент 50% означает, что половина файлов в архивах — дубликаты. Коэффициент 100% означает, что все файлы уникальны.
• Дубликаты между архивами: инструмент показывает, какие архивы содержат каждый файл-дубликат. Это помогает понять, находятся ли дубликаты внутри одного архива или распределены по коллекции.

Поиск дубликатов поддерживает только ZIP-архивы . Другие архивные форматы (RAR, 7z, TAR.GZ) не поддерживаются, поскольку используют другие алгоритмы сжатия, которые библиотека JSZip не может прочитать в браузере. Инструмент не поддерживает ZIP-файлы с паролем — зашифрованные архивы невозможно прочитать в браузере. Для очень больших архивов (более 500 МБ) убедитесь, что на устройстве достаточно оперативной памяти, поскольку всё содержимое файлов распаковывается и хешируется в памяти. Файлы с одинаковым именем, но разным содержимым считаются уникальными — инструмент сравнивает содержимое по хешу, а не по имени. Файлы с разными именами, но идентичным содержимым будут корректно определены как дубликаты.