Buscador de archivos casi duplicados

• Algoritmo de hash difuso: detecta archivos casi duplicados utilizando un algoritmo de hash por partes (CTPH) activado por contexto inspirado en ssdeep. A diferencia de la comparación de hash exacta (SHA-256/MD5), nuestro hash difuso divide los archivos en fragmentos basados ​​en el contenido mediante un hash continuo y compara firmas de fragmentos para encontrar archivos similares incluso cuando se han aplicado metadatos, formato o ediciones menores. Esto permite la detección de archivos que son similares pero no idénticos.
• Comparación de lotes de varios archivos: cargue varios archivos de cualquier tipo simultáneamente para la detección de lotes casi duplicados. La herramienta compara automáticamente cada par único de archivos y calcula puntuaciones de similitud para todas las combinaciones. Los resultados están organizados por categoría de similitud (Idéntico, Casi duplicado, Similar, Algo similar) con barras de progreso visual que muestran el porcentaje de similitud exacto para cada par.
• Puntuación de similitud integral: cada par de archivos recibe una puntuación de similitud del 0% al 100% basada en una combinación ponderada de tres métricas: relación de coincidencia exacta de fragmentos (bloques de contenido idénticos), subsecuencia común más larga de fragmentos (superposición de estructura ordenada) y relación de tamaño de archivo (similitud de tamaño general). Este enfoque multimétrico proporciona una detección precisa de casi duplicados en diversos tipos de archivos.
• Procesamiento 100% privado basado en navegador: todo el procesamiento de archivos se realiza completamente en su navegador utilizando Web Crypto API para hash SHA-256. Los archivos se leen localmente y nunca se cargan en ningún servidor. Sus datos permanecen completamente privados en su dispositivo. Sin registro, sin cuenta, sin recopilación de datos, sin límites de uso: completamente gratis y privado.

• Optimización y limpieza del almacenamiento: identifique archivos duplicados y casi duplicados que saturan su almacenamiento. Nuestro buscador de archivos casi duplicados ayuda a los administradores y usuarios del sistema a encontrar documentos, imágenes y copias de seguridad similares que se pueden consolidar para liberar valioso espacio en disco. Detecte archivos que sean casi idénticos excepto por diferencias menores de metadatos, cambios de versión o cambios de formato en sus sistemas de almacenamiento.
• Deduplicación de la biblioteca de fotos: encuentre fotos casi duplicadas en su biblioteca de imágenes donde se hayan aplicado ligeras ediciones, recortes, filtros o cambios de tamaño. Tanto los fotógrafos como los usuarios ocasionales pueden utilizar nuestra herramienta para identificar imágenes similares que pueden haberse guardado en varias versiones, lo que ayuda a organizar y limpiar colecciones de fotografías agrupando tomas casi duplicadas.
• Análisis de similitud de base de código: detecte archivos de código duplicados o casi duplicados en sus proyectos. Los desarrolladores pueden identificar archivos que comparten código importante con modificaciones menores, lo que ayuda a refactorizar, fusionar o deduplicar bases de código. Útil para auditar repositorios grandes, detectar código copiado y mantener una arquitectura de código limpia.
• Gestión de versiones de documentos: realice un seguimiento de las versiones de documentos e identifique revisiones casi duplicadas en su sistema de gestión de documentos. En lugar de comparar cada par de documentos manualmente, nuestra herramienta encuentra automáticamente documentos que son similares pero no idénticos, lo que ayuda a identificar la última versión, detectar modificaciones no autorizadas y administrar los ciclos de vida de los documentos de manera más eficiente.
• Limpieza de respaldo y archivos: limpie los archivos de respaldo identificando archivos casi duplicados que se crearon en diferentes ejecuciones de respaldo. Los administradores de sistemas pueden encontrar archivos que son casi idénticos en todas las copias de seguridad, lo que ayuda a reducir los requisitos de almacenamiento de las copias de seguridad y optimizar las estrategias de archivo al consolidar datos casi duplicados.
• Análisis forense y de pruebas digitales: los investigadores forenses pueden utilizar la detección casi duplicada para encontrar archivos relacionados en las colecciones de pruebas. Identifique documentos que han sido alterados, renombrados o guardados nuevamente con modificaciones. Nuestra herramienta ayuda a los profesionales de la ciencia forense digital a identificar rápidamente archivos relacionados entre sí, incluso cuando se han cambiado los nombres de los archivos, los metadatos o el contenido específico.

La detección de archivos casi duplicados es el proceso de encontrar archivos que son similares pero no idénticos, a diferencia de la detección exacta de duplicados que solo encuentra archivos con contenido idéntico. Los casi duplicados comparten contenido importante, pero pueden diferir en metadatos, formato, compresión, ediciones o recodificación. Nuestra herramienta utiliza un algoritmo de hash difuso inspirado en ssdeep (Context Triggered Piecewise Hashing o CTPH) que divide archivos en fragmentos basados ​​en contenido y compara sus firmas de fragmentos para calcular una puntuación de similitud. Este enfoque detecta archivos que la comparación hash exacta pasaría por alto, lo que lo hace ideal para buscar documentos relacionados, imágenes similares, archivos versionados y copias modificadas.

1. Fragmentación basada en contenido: el archivo se lee como bytes y un hash continuo (similar a Adler-32) se desliza a través de los datos. Cuando el valor hash coincide con un patrón de activación específico, se crea un límite de fragmento. Esto significa que los fragmentos se alinean con la estructura de contenido natural del archivo en lugar de con posiciones fijas, lo que hace que el algoritmo sea robusto frente a inserciones y eliminaciones.
2. Hashing de fragmentos: cada fragmento de contenido se procesa utilizando SHA-256 a través de Web Crypto API. Las firmas hash resultantes capturan el contenido de cada fragmento. Fragmentos idénticos en diferentes archivos producen hashes idénticos, lo que permite que el algoritmo detecte contenido compartido incluso cuando los archivos difieren en otras partes.
3. Cálculo de similitud: los archivos se comparan calculando tres métricas: proporción exacta de coincidencia de fragmentos (cuántos fragmentos tienen hashes idénticos), subsecuencia común más larga de fragmentos (cuánto del orden de los fragmentos se conserva) y relación de tamaño de archivo. Estos se ponderan y combinan en una puntuación de similitud final del 0% al 100%.
4. Comparación por lotes: cuando se cargan varios archivos, cada par único se compara automáticamente. Los resultados se ordenan de forma descendente por similitud y se clasifican en cinco niveles: idénticos, casi duplicados, similares, algo similares y diferentes.

• Cambios de metadatos: los archivos con el mismo contenido pero diferentes metadatos (datos EXIF ​​en imágenes, propiedades de documentos, marcas de tiempo de archivos) se detectan como casi duplicados, ya que los fragmentos de contenido siguen siendo en gran medida los mismos.
• Diferencias de formato: los documentos reformateados con diferentes fuentes, espacios o diseños seguirán compartiendo la mayoría de los fragmentos de contenido, lo que los hará detectables como casi duplicados incluso cuando la apariencia visual difiera.
• Ediciones menores: los archivos con pequeñas adiciones, eliminaciones o modificaciones (como párrafos actualizados, errores tipográficos corregidos o comentarios agregados) compartirán la mayoría de los fragmentos de contenido sin cambios, lo que generará puntuaciones de similitud altas.
• Recodificación/recompresión: las imágenes guardadas nuevamente con diferentes niveles de calidad o los archivos recomprimidos con diferentes configuraciones compartirán la estructura de contenido subyacente, aunque los límites de los fragmentos pueden cambiar, lo que resultará en puntuaciones de similitud de moderadas a altas.

Nuestro Buscador de archivos casi duplicados procesa todo localmente en su navegador. Los archivos se leen mediante la API FileReader y se procesan mediante la API Web Crypto. Nunca se cargan datos en ningún servidor: sus archivos permanecen completamente privados en su dispositivo. La herramienta es 100% gratuita, sin registro, sin cuenta y sin límites de uso.

Limitaciones importantes: el algoritmo está diseñado para la detección de similitudes basada en contenido. Los archivos que son semánticamente similares pero que tienen contenido binario completamente diferente (por ejemplo, el mismo texto guardado en formato PDF versus DOCX) no se detectarán como casi duplicados. Los archivos muy pequeños (menos de 64 bytes) pueden producir fragmentos insuficientes para una comparación significativa. El tiempo de procesamiento aumenta con la cantidad de archivos, ya que se debe comparar cada par. Para conjuntos muy grandes (más de 50 archivos), considere procesar en lotes más pequeños.