Поиск почти повторяющихся файлов

• Алгоритм нечеткого хеширования: обнаруживает почти повторяющиеся файлы с помощью алгоритма кусочного хеширования с контекстным запуском (CTPH), вдохновленного ssdeep. В отличие от точного сравнения хешей (SHA-256/MD5), наше нечеткое хеширование делит файлы на фрагменты на основе содержимого с помощью скользящего хеша и сравнивает подписи фрагментов для поиска похожих файлов, даже если были применены метаданные, форматирование или незначительные изменения. Это позволяет обнаруживать файлы, которые похожи, но не идентичны.
• Пакетное сравнение нескольких файлов: загрузите несколько файлов любого типа одновременно для обнаружения в пакете почти повторяющихся файлов. Инструмент автоматически сравнивает каждую уникальную пару файлов, вычисляя показатели сходства для всех комбинаций. Результаты организованы по категориям сходства («Идентичные», «Почти повторяющиеся», «Похожие», «В некоторой степени похожие») с визуальными индикаторами выполнения, показывающими точный процент сходства для каждой пары.
• Комплексная оценка сходства: каждая пара файлов получает оценку сходства от 0% до 100% на основе взвешенной комбинации трех показателей: коэффициент точного совпадения фрагментов (идентичные блоки контента), самая длинная общая подпоследовательность фрагментов (перекрытие упорядоченной структуры) и соотношение размеров файлов (общее сходство размеров). Этот мультиметрический подход обеспечивает точное обнаружение почти повторяющихся файлов в различных типах файлов.
• 100% конфиденциальная обработка на основе браузера: вся обработка файлов происходит полностью в вашем браузере с использованием API Web Crypto для хеширования SHA-256. Файлы читаются локально и никогда не загружаются на какой-либо сервер. Ваши данные остаются полностью конфиденциальными на вашем устройстве. Никакой регистрации, никакой учетной записи, никакого сбора данных, никаких ограничений на использование — совершенно бесплатно и конфиденциально.

• Оптимизация и очистка хранилища. Выявляйте повторяющиеся и почти повторяющиеся файлы, загромождающие ваше хранилище. Наш инструмент поиска почти повторяющихся файлов помогает системным администраторам и пользователям находить похожие документы, изображения и резервные копии, которые можно объединить, чтобы освободить ценное дисковое пространство. Обнаруживайте файлы, которые практически идентичны, за исключением незначительных различий в метаданных, изменений версий или изменений форматирования в ваших системах хранения.
• Дедупликация библиотеки фотографий. Найдите в своей библиотеке изображений почти повторяющиеся фотографии, к которым были применены небольшие изменения, обрезка, фильтры или изменение размера. Как фотографы, так и обычные пользователи могут использовать наш инструмент для выявления похожих изображений, которые могли быть сохранены в нескольких версиях, помогая организовать и очистить коллекции фотографий, группируя почти повторяющиеся снимки.
• Анализ сходства кодовой базы: обнаружение дублированных или почти повторяющихся файлов кода в ваших проектах. Разработчики могут идентифицировать файлы, которые содержат общий код с небольшими изменениями, что помогает проводить рефакторинг, объединение или дедупликацию кодовых баз. Полезно для аудита больших репозиториев, обнаружения скопированного кода и поддержания чистой архитектуры кода.
• Управление версиями документов: отслеживайте версии документов и выявляйте почти повторяющиеся версии в вашей системе управления документами. Вместо сравнения каждой пары документов вручную наш инструмент автоматически находит похожие, но не идентичные документы, помогая идентифицировать последнюю версию, обнаруживать несанкционированные изменения и более эффективно управлять жизненным циклом документов.
• Очистка резервного копирования и архива: Очистка архивов резервных копий путем выявления почти повторяющихся файлов, созданных при различных запусках резервного копирования. Системные администраторы могут находить в резервных копиях файлы, которые практически идентичны, что помогает снизить требования к хранилищу резервных копий и оптимизировать стратегии архивирования за счет консолидации практически повторяющихся данных.
• Цифровая криминалистика и анализ доказательств: судебно-медицинские следователи могут использовать обнаружение почти дубликатов для поиска связанных файлов в коллекциях доказательств. Определите документы, которые были изменены, переименованы или повторно сохранены с изменениями. Наш инструмент помогает специалистам в области цифровой криминалистики быстро идентифицировать файлы, связанные друг с другом, даже если имена файлов, метаданные или конкретное содержимое были изменены.

Обнаружение почти повторяющихся файлов — это процесс поиска файлов, которые похожи, но не идентичны, в отличие от точного обнаружения дубликатов, которое находит только файлы с идентичным содержимым. Почти дубликаты имеют общий контент, но могут отличаться метаданными, форматированием, сжатием, редактированием или перекодированием. Наш инструмент использует алгоритм нечеткого хеширования, основанный на ssdeep (кусочное хеширование, запускаемое контекстом или CTPH), который делит файлы на фрагменты на основе содержимого и сравнивает их подписи фрагментов для вычисления показателя сходства. Этот подход обнаруживает файлы, которые были бы пропущены при точном сравнении хешей, что делает его идеальным для поиска связанных документов, похожих изображений, файлов с версиями и измененных копий.

1. Разбивка на основе содержимого: файл читается как байты, а по данным перемещается скользящий хэш (аналогично Adler-32). Когда значение хеш-функции соответствует определенному шаблону триггера, создается граница фрагмента. Это означает, что фрагменты выравниваются по естественной структуре содержимого файла, а не по фиксированным позициям, что делает алгоритм устойчивым к вставкам и удалениям.
2. Хеширование фрагментов: каждый фрагмент контента хешируется с использованием SHA-256 через Web Crypto API. Полученные хэш-подписи фиксируют содержимое каждого фрагмента. Идентичные фрагменты в разных файлах создают одинаковые хэши, что позволяет алгоритму обнаруживать общий контент, даже если файлы различаются в других частях.
3. Вычисление сходства: файлы сравниваются путем вычисления трех показателей: коэффициент точного совпадения фрагментов (сколько фрагментов имеют одинаковые хэши), самая длинная общая подпоследовательность фрагментов (какая часть порядка фрагментов сохраняется) и соотношение размеров файлов. Они взвешиваются и объединяются в окончательную оценку сходства от 0% до 100%.
4. Пакетное сравнение: при загрузке нескольких файлов каждая уникальная пара сравнивается автоматически. Результаты сортируются по убыванию сходства и распределяются по пяти уровням: идентичные, почти повторяющиеся, похожие, несколько похожие и разные.

• Изменения метаданных. Файлы с одинаковым содержимым, но с разными метаданными (данные EXIF ​​в изображениях, свойства документа, временные метки файлов) обнаруживаются как почти дубликаты, поскольку фрагменты контента остаются в основном теми же.
• Различия в форматировании. Документы, отформатированные с использованием других шрифтов, интервалов или макета, по-прежнему будут использовать большинство фрагментов контента, что делает их практически идентичными, даже если внешний вид отличается.
• Незначительные изменения: файлы с небольшими дополнениями, удалениями или изменениями (например, обновленными абзацами, исправленными опечатками или добавленными комментариями) будут использовать большую часть неизмененных фрагментов содержимого, что приведет к высоким показателям сходства.
• Повторное кодирование/повторное сжатие: изображения, повторно сохраненные с разными уровнями качества, или файлы, повторно сжатые с другими настройками, будут иметь общую структуру содержимого, хотя границы фрагментов могут смещаться, что приводит к умеренному или высокому показателю сходства.

Наш инструмент поиска почти повторяющихся файлов обрабатывает все локально в вашем браузере. Файлы считываются с помощью API FileReader и хэшируются с помощью API Web Crypto. Никакие данные никогда не загружаются на какой-либо сервер — ваши файлы остаются полностью конфиденциальными на вашем устройстве. Инструмент на 100% бесплатен, без регистрации, учетной записи и ограничений на использование.

Важные ограничения: Алгоритм предназначен для обнаружения сходства на основе контента. Файлы, которые семантически схожи, но имеют совершенно разное двоичное содержимое (например, один и тот же текст, сохраненный в формате PDF и DOCX), не будут распознаваться как почти дубликаты. Очень маленькие файлы (менее 64 байтов) могут содержать фрагменты, недостаточные для значимого сравнения. Время обработки увеличивается с увеличением количества файлов, поскольку необходимо сравнивать каждую пару. Для очень больших наборов (более 50 файлов) рассмотрите возможность обработки меньшими пакетами.