Détecteur de fichiers en double dans les archives

Voici les principaux avantages de l'outil.

• Comparaison de hachages SHA-256 : notre détecteur de fichiers en double utilise l'API Web Crypto pour calculer les hachages SHA-256 de chaque fichier de vos archives. SHA-256 est cryptographiquement sûr et résistant aux collisions, garantissant que les fichiers ayant le même hachage sont identiques à 100 %.
• Confidentialité 100 % dans le navigateur : vos archives ne quittent jamais votre appareil. Toute l'analyse, le calcul des hachages et la détection des doublons se font localement dans votre navigateur à l'aide de JSZip et de l'API Web Crypto. Aucun envoi au serveur, aucun stockage cloud, aucune exposition de données.
• Analyse de plusieurs archives : envoyez plusieurs archives ZIP à la fois et analysez-les simultanément. L'outil détecte les doublons à l'intérieur d'une même archive et entre différentes archives, vous donnant une vue complète de la redondance dans votre collection de fichiers.
• Analyse de l'espace gaspillé : chaque groupe de doublons indique exactement combien d'espace est gaspillé. L'outil calcule le total d'octets gaspillés sur l'ensemble des doublons et affiche un taux de déduplication, vous aidant à prioriser les doublons à supprimer pour un gain d'espace maximal.

Voici les scénarios les plus courants.

• Nettoyage des sauvegardes cloud : téléchargez les ZIP de vos sauvegardes cloud et analysez-les à la recherche de fichiers en double. Identifiez les copies redondantes des mêmes documents, photos ou configurations qui consomment inutilement votre quota de stockage cloud.
• Audit des archives d'export de données : lors de l'export de données depuis plusieurs systèmes, les fichiers sont souvent dupliqués d'un export à l'autre. Analysez vos archives d'export pour trouver les CSV, fichiers JSON ou rapports en double avant de les fusionner pour l'analyse.
• Optimisation de la distribution de logiciels : les archives de distribution de logiciels contiennent souvent des fichiers de bibliothèque, des ressources ou de la documentation en double dans plusieurs paquets. Utilisez le détecteur de doublons pour identifier la redondance et optimiser la taille de votre distribution.
• Consolidation de collections d'archives anciennes : avec le temps, les collections d'archives accumulent des fichiers redondants. Analysez tous vos ZIP historiques pour identifier les doublons dans la collection, puis consolidez-les en un seul ensemble dédupliqué.
• Réduction des coûts de stockage de sauvegarde : les archives de sauvegarde contiennent souvent les mêmes fichiers sur plusieurs cycles. Identifier les fichiers dupliqués entre les ZIP de sauvegarde vous aide à dimensionner correctement votre stratégie et à réduire les coûts de stockage.
• Préparation des archives à la migration : avant de migrer des archives entre systèmes de stockage ou fournisseurs cloud, analysez-les à la recherche de doublons. Supprimer les fichiers redondants avant la migration réduit le temps de transfert, les coûts de bande passante et le stockage de destination nécessaire.

La détection de fichiers en double dans les archives est le processus consistant à analyser le contenu des fichiers ZIP (et d'autres formats d'archive) pour identifier les fichiers au contenu identique. Notre détecteur de fichiers en double extrait chaque fichier de vos archives ZIP envoyées, calcule son hachage cryptographique SHA-256 à l'aide de l'API Web Crypto native du navigateur et regroupe les fichiers dont les hachages correspondent. Les fichiers ayant le même hachage SHA-256 sont nécessairement identiques octet par octet, ce qui fait de cette méthode une détection de doublons très précise.

Suivez ces trois étapes.

1. 1 Envoyez vos archives : glissez-déposez une ou plusieurs archives ZIP dans la zone de dépôt, ou cliquez pour parcourir. Vous pouvez analyser plusieurs archives à la fois pour trouver les doublons à l'intérieur et entre les archives.
2. 2 Calcul des hachages : l'outil extrait chaque entrée de fichier et calcule son hachage SHA-256 à l'aide de l'API Web Crypto. Les fichiers sont traités en parallèle dans chaque archive pour des performances maximales. Le contenu de chaque fichier est lu et haché localement dans votre navigateur.
3. 3 Regroupement et analyse des doublons : les fichiers dont les hachages correspondent sont regroupés. Pour chaque groupe de doublons, l'outil calcule l'espace gaspillé (taille × (copies - 1)), affiche tous les chemins de fichiers avec leurs archives d'origine et indique quelle copie serait conservée. Un résumé fournit le taux de déduplication total et l'espace gaspillé global.

Voici ce que montre chaque partie du rapport.

• Groupes de doublons : chaque groupe représente un ensemble de fichiers au contenu identique. La première occurrence (marquée « conservée ») est celle qui serait retenue si les doublons étaient supprimés.
• Calcul de l'espace gaspillé : pour chaque groupe de doublons, espace gaspillé = taille du fichier × (nombre de copies - 1). Par exemple, un fichier de 5 Mo apparaissant 4 fois gaspille 15 Mo. L'espace total gaspillé est la somme sur tous les groupes.
• Taux de déduplication : c'est le pourcentage de fichiers uniques (uniques / total). Un taux de 50 % signifie que la moitié des fichiers de vos archives sont des doublons. Un taux de 100 % signifie que chaque fichier est unique.
• Doublons entre archives : l'outil indique quelles archives contiennent chaque fichier en double. Cela vous aide à comprendre si les doublons sont dans une seule archive ou répartis dans votre collection.

Le détecteur de fichiers en double prend en charge uniquement les archives ZIP . Les autres formats d'archive (RAR, 7z, TAR.GZ) ne sont pas pris en charge car ils utilisent des algorithmes de compression différents que la bibliothèque JSZip ne peut pas lire dans le navigateur. L'outil ne prend pas en charge les fichiers ZIP protégés par mot de passe : les archives chiffrées ne peuvent pas être lues dans le navigateur. Pour les très grandes archives (plus de 500 Mo), assurez-vous que votre appareil dispose de suffisamment de RAM, car tout le contenu des fichiers est décompressé et haché en mémoire. Les fichiers portant le même nom mais un contenu différent seront traités comme uniques : l'outil compare le contenu par hachage, pas par nom de fichier. Les fichiers portant des noms différents mais un contenu identique seront correctement identifiés comme doublons.