Duplikat-Dateifinder in Archiven

Das sind die wichtigsten Vorteile des Tools.

• SHA-256-Hash-Vergleich: Unser Duplikat-Dateifinder verwendet die Web Crypto API, um SHA-256-Hashes für jede Datei in Ihren Archiven zu berechnen. SHA-256 ist kryptografisch sicher und kollisionsresistent und garantiert, dass Dateien mit demselben Hash zu 100 % identisch sind.
• 100 % browsersbasierter Datenschutz: Ihre Archive verlassen niemals Ihr Gerät. Die gesamte Prüfung, Hash-Berechnung und Duplikaterkennung erfolgt lokal in Ihrem Browser mit JSZip und der Web Crypto API. Keine Server-Uploads, kein Cloud-Speicher, keine Datenexposition.
• Prüfung mehrerer Archive: Laden Sie mehrere ZIP-Archive gleichzeitig hoch und prüfen Sie sie simultan. Das Tool erkennt Duplikate sowohl innerhalb eines einzelnen Archivs als auch über verschiedene Archive hinweg und liefert Ihnen ein vollständiges Bild der Redundanz in Ihrer Dateisammlung.
• Analyse des verschwendeten Speicherplatzes: Jede Duplikatgruppe zeigt genau, wie viel Speicherplatz verschwendet wird. Das Tool berechnet die gesamten verschwendeten Bytes über alle Duplikate und zeigt ein Deduplizierungsverhältnis an, damit Sie priorisieren können, welche Duplikate für maximale Einsparung entfernt werden sollten.

Das sind die häufigsten Szenarien.

• Aufräumen von Cloud-Backups: Laden Sie die ZIPs Ihrer Cloud-Backups herunter und prüfen Sie sie auf doppelte Dateien. Identifizieren Sie redundante Kopien derselben Dokumente, Fotos oder Konfigurationen, die Ihr Cloud-Speicherkontingent unnötig belasten.
• Prüfung von Datenexport-Archiven: Beim Export von Daten aus mehreren Systemen werden Dateien oft über Exporte hinweg dupliziert. Prüfen Sie Ihre Datenexport-Archive auf doppelte CSVs, JSON-Dateien oder Berichte, bevor Sie sie zur Analyse zusammenführen.
• Optimierung der Softwareverteilung: Softwareverteilungsarchive enthalten oft doppelte Bibliotheksdateien, Assets oder Dokumentationen über mehrere Pakete hinweg. Nutzen Sie den Duplikat-Finder, um Redundanz zu identifizieren und Ihre Verteilungsgröße zu optimieren.
• Konsolidierung alter Archivsammlungen: Mit der Zeit sammeln Archivsammlungen redundante Dateien an. Prüfen Sie alle Ihre historischen ZIP-Dateien auf Duplikate in der Sammlung und konsolidieren Sie sie zu einem einzigen deduplizierten Archivsatz.
• Senkung der Backup-Speicherkosten: Backup-Archive enthalten oft dieselben Dateien über mehrere Sicherungszyklen. Zu wissen, welche Dateien über Backup-ZIPs hinweg dupliziert sind, hilft Ihnen, Ihre Backup-Strategie richtig zu dimensionieren und Speicherkosten zu senken.
• Vorbereitung von Archiven für die Migration: Bevor Sie Archive zwischen Speichersystemen oder Cloud-Anbietern migrieren, prüfen Sie sie auf Duplikate. Das Entfernen redundanter Dateien vor der Migration reduziert Übertragungszeit, Bandbreitenkosten und den benötigten Zielspeicher.

Die Duplikaterkennung in Archiven ist der Prozess, den Inhalt von ZIP-Dateien (und anderen Archivformaten) zu prüfen, um Dateien mit identischem Inhalt zu identifizieren. Unser Duplikat-Dateifinder extrahiert jede Datei aus Ihren hochgeladenen ZIP-Archiven, berechnet ihren kryptografischen SHA-256-Hash mithilfe der nativen Web Crypto API des Browsers und gruppiert Dateien mit übereinstimmenden Hashes. Dateien mit demselben SHA-256-Hash sind garantiert Byte für Byte identisch, was dies zu einer sehr genauen Methode zur Duplikaterkennung macht.

Folgen Sie diesen drei Schritten.

1. 1 Laden Sie Ihre Archive hoch: Ziehen Sie eine oder mehrere ZIP-Dateien per Drag & Drop in die Ablagezone oder klicken Sie zum Durchsuchen. Sie können mehrere Archive gleichzeitig prüfen, um Duplikate innerhalb und zwischen Archiven zu finden.
2. 2 Hash-Berechnung: Das Tool extrahiert jeden Dateieintrag und berechnet seinen SHA-256-Hash mithilfe der Web Crypto API. Die Dateien werden innerhalb jedes Archivs parallel verarbeitet, um maximale Leistung zu erzielen. Der Inhalt jeder Datei wird lokal in Ihrem Browser gelesen und gehasht.
3. 3 Gruppierung und Analyse der Duplikate: Dateien mit übereinstimmenden Hashes werden gruppiert. Für jede Duplikatgruppe berechnet das Tool den verschwendeten Speicherplatz (Größe × (Kopien - 1)), zeigt alle Dateipfade mit ihren Quellarchiven an und hebt hervor, welche Kopie behalten würde. Eine Zusammenfassung liefert das gesamte Deduplizierungsverhältnis und den gesamten verschwendeten Speicherplatz.

Das zeigt jeder Teil des Berichts.

• Duplikatgruppen: Jede Gruppe stellt eine Menge von Dateien mit identischem Inhalt dar. Das erste Vorkommen (als "behalten" markiert) ist die Datei, die bei Entfernung der Duplikate erhalten bliebe.
• Berechnung des verschwendeten Speicherplatzes: Für jede Duplikatgruppe gilt: verschwendeter Speicherplatz = Dateigröße × (Anzahl der Kopien - 1). Eine 5-MB-Datei, die 4-mal vorkommt, verschwendet beispielsweise 15 MB. Der gesamte verschwendete Speicherplatz ist die Summe über alle Gruppen.
• Deduplizierungsverhältnis: Dies ist der Prozentsatz eindeutiger Dateien (eindeutig / gesamt). Ein Verhältnis von 50 % bedeutet, dass die Hälfte der Dateien in Ihren Archiven Duplikate sind. Ein Verhältnis von 100 % bedeutet, dass jede Datei eindeutig ist.
• Archivübergreifende Duplikate: Das Tool zeigt, welche Archive jede doppelte Datei enthalten. So verstehen Sie, ob Duplikate innerhalb eines einzelnen Archivs oder über Ihre Sammlung verteilt sind.

Der Duplikat-Dateifinder unterstützt nur ZIP-Archive . Andere Archivformate (RAR, 7z, TAR.GZ) werden nicht unterstützt, da sie andere Komprimierungsalgorithmen verwenden, die die JSZip-Bibliothek im Browser nicht lesen kann. Das Tool unterstützt keine passwortgeschützten ZIP-Dateien - verschlüsselte Archive können im Browser nicht gelesen werden. Stellen Sie bei sehr großen Archiven (über 500 MB) sicher, dass Ihr Gerät über ausreichend RAM verfügt, da alle Dateiinhalte im Speicher dekomprimiert und gehasht werden. Dateien mit demselben Namen, aber unterschiedlichem Inhalt werden als eindeutig behandelt - das Tool vergleicht Inhalte per Hash, nicht per Dateiname. Dateien mit unterschiedlichen Namen, aber identischem Inhalt werden korrekt als Duplikate identifiziert.