Pencari File Hampir Duplikat

• Algoritma Fuzzy Hashing: Mendeteksi file yang hampir duplikat menggunakan algoritma hashing sepotong-sepotong yang dipicu konteks (CTPH) yang terinspirasi oleh ssdeep. Tidak seperti perbandingan hash yang tepat (SHA-256/MD5), hashing fuzzy kami membagi file menjadi potongan-potongan berbasis konten menggunakan hash bergulir dan membandingkan tanda tangan potongan untuk menemukan file serupa bahkan ketika metadata, pemformatan, atau pengeditan kecil telah diterapkan. Hal ini memungkinkan deteksi file yang serupa tetapi tidak identik.
• Perbandingan Batch Multi-File: Unggah beberapa file jenis apa pun secara bersamaan untuk deteksi batch yang hampir duplikat. Alat ini membandingkan setiap pasangan file unik secara otomatis, menghitung skor kesamaan untuk semua kombinasi. Hasil disusun berdasarkan kategori kesamaan (Identik, Hampir Duplikat, Serupa, Agak Mirip) dengan bilah kemajuan visual yang menunjukkan persentase kesamaan yang tepat untuk setiap pasangan.
• Skor Kesamaan Komprehensif: Setiap pasangan file menerima skor kesamaan dari 0% hingga 100% berdasarkan kombinasi tertimbang dari tiga metrik: rasio kecocokan potongan yang tepat (blok konten yang identik), urutan potongan yang terpanjang (struktur yang diurutkan tumpang tindih), dan rasio ukuran file (kesamaan ukuran keseluruhan). Pendekatan multi-metrik ini memberikan deteksi hampir duplikat yang akurat di berbagai jenis file.
• 100% Pemrosesan Berbasis Browser Pribadi: Semua pemrosesan file terjadi sepenuhnya di browser Anda menggunakan Web Crypto API untuk hashing SHA-256. File dibaca secara lokal dan tidak pernah diunggah ke server mana pun. Data Anda tetap sepenuhnya pribadi di perangkat Anda. Tanpa pendaftaran, tanpa akun, tanpa pengumpulan data, tanpa batasan penggunaan - sepenuhnya gratis dan pribadi.

• Pengoptimalan & Pembersihan Penyimpanan: Identifikasi file duplikat dan hampir duplikat yang mengacaukan penyimpanan Anda. Pencari file kami yang hampir duplikat membantu administrator sistem dan pengguna menemukan dokumen, gambar, dan cadangan serupa yang dapat digabungkan untuk mengosongkan ruang disk yang berharga. Deteksi file yang hampir sama kecuali sedikit perbedaan metadata, perubahan versi, atau perubahan format di seluruh sistem penyimpanan Anda.
• Deduplikasi Perpustakaan Foto: Temukan foto yang hampir duplikat di perpustakaan gambar Anda yang telah menerapkan sedikit pengeditan, pemotongan, filter, atau pengubahan ukuran. Fotografer dan pengguna biasa sama-sama dapat menggunakan alat kami untuk mengidentifikasi gambar serupa yang mungkin telah disimpan dalam beberapa versi, membantu mengatur dan membersihkan koleksi foto dengan mengelompokkan foto yang hampir duplikat menjadi satu.
• Analisis Kesamaan Basis Kode: Deteksi file kode yang diduplikasi atau hampir duplikat di seluruh proyek Anda. Pengembang dapat mengidentifikasi file yang berbagi kode signifikan dengan sedikit modifikasi, membantu memfaktorkan ulang, menggabungkan, atau menghapus duplikat basis kode. Berguna untuk mengaudit repositori besar, mendeteksi kode yang disalin, dan memelihara arsitektur kode yang bersih.
• Manajemen Versi Dokumen: Lacak versi dokumen dan identifikasi revisi yang hampir duplikat dalam sistem manajemen dokumen Anda. Daripada membandingkan setiap pasangan dokumen secara manual, alat kami secara otomatis menemukan dokumen yang serupa namun tidak identik, membantu mengidentifikasi versi terbaru, mendeteksi modifikasi yang tidak sah, dan mengelola siklus hidup dokumen dengan lebih efisien.
• Pembersihan Pencadangan & Arsip: Bersihkan arsip cadangan dengan mengidentifikasi file yang hampir duplikat yang dibuat di berbagai proses pencadangan. Administrator sistem dapat menemukan file yang hampir sama di seluruh cadangan, membantu mengurangi kebutuhan penyimpanan cadangan dan mengoptimalkan strategi pengarsipan dengan menggabungkan data yang hampir duplikat.
• Forensik Digital & Analisis Bukti: Penyelidik forensik dapat menggunakan deteksi hampir duplikat untuk menemukan file terkait di seluruh koleksi bukti. Identifikasi dokumen yang telah diubah, diganti namanya, atau disimpan ulang dengan modifikasi. Alat kami membantu profesional forensik digital dengan cepat mengidentifikasi file yang terkait satu sama lain, bahkan ketika nama file, metadata, atau konten tertentu telah diubah.

Deteksi file hampir duplikat adalah proses menemukan file yang serupa tetapi tidak identik - tidak seperti deteksi duplikat persis yang hanya menemukan file dengan konten identik. Hampir duplikat berbagi konten yang signifikan tetapi mungkin berbeda dalam metadata, pemformatan, kompresi, pengeditan, atau pengodean ulang. Alat kami menggunakan algoritma hashing fuzzy yang terinspirasi oleh ssdeep (Context Triggered Piecewise Hashing atau CTPH) yang membagi file menjadi potongan-potongan berbasis konten dan membandingkan tanda tangan potongannya untuk menghitung skor kesamaan. Pendekatan ini mendeteksi file yang tidak dapat dibandingkan dengan perbandingan hash yang tepat, sehingga ideal untuk menemukan dokumen terkait, gambar serupa, file berversi, dan salinan yang dimodifikasi.

1. Pemotongan Berbasis Konten: File dibaca sebagai byte dan hash bergulir (mirip dengan Adler-32) meluncur melalui data. Ketika nilai hash cocok dengan pola pemicu tertentu, batas potongan dibuat. Ini berarti potongan-potongan tersebut selaras dengan struktur konten alami file, bukan pada posisi tetap - menjadikan algoritme ini kuat terhadap penyisipan dan penghapusan.
2. Hashing Potongan: Setiap potongan konten di-hash menggunakan SHA-256 melalui Web Crypto API. Tanda tangan hash yang dihasilkan menangkap konten setiap potongan. Potongan identik di berbagai file menghasilkan hash yang identik, memungkinkan algoritme mendeteksi konten bersama bahkan ketika file berbeda di bagian lain.
3. Komputasi Kesamaan: File dibandingkan dengan menghitung tiga metrik: rasio kecocokan bongkahan yang tepat (berapa banyak bongkahan yang memiliki hash identik), urutan bongkahan terpanjang yang umum (berapa banyak urutan bongkahan yang dipertahankan), dan rasio ukuran file. Ini diberi bobot dan digabungkan menjadi skor kesamaan akhir dari 0% hingga 100%.
4. Perbandingan Batch: Saat beberapa file diunggah, setiap pasangan unik dibandingkan secara otomatis. Hasil diurutkan berdasarkan kemiripan dan dikategorikan ke dalam lima tingkatan: Identik, Hampir Duplikat, Serupa, Agak Mirip, dan Berbeda.

• Perubahan Metadata: File dengan konten yang sama tetapi metadata berbeda (data EXIF ​​dalam gambar, properti dokumen, stempel waktu file) terdeteksi hampir duplikat karena sebagian besar potongan konten tetap sama.
• Perbedaan Pemformatan: Dokumen yang diformat ulang dengan font, spasi, atau tata letak berbeda akan tetap berbagi sebagian besar potongan konten, sehingga dapat dideteksi sebagai hampir duplikat meskipun tampilan visualnya berbeda.
• Pengeditan Kecil: File dengan sedikit tambahan, penghapusan, atau modifikasi (seperti paragraf yang diperbarui, kesalahan ketik yang diperbaiki, atau komentar yang ditambahkan) akan berbagi sebagian besar potongan konten yang tidak diubah, sehingga menghasilkan skor kesamaan yang tinggi.
• Pengkodean ulang/kompresi ulang: Gambar yang disimpan ulang pada tingkat kualitas berbeda atau file yang dikompresi ulang dengan pengaturan berbeda akan memiliki struktur konten yang sama, meskipun batas potongan mungkin bergeser, sehingga menghasilkan skor kesamaan sedang hingga tinggi.

Pencari File Hampir Duplikat kami memproses semuanya secara lokal di browser Anda. File dibaca menggunakan FileReader API dan di-hash menggunakan Web Crypto API. Tidak ada data yang diunggah ke server mana pun - file Anda tetap bersifat pribadi di perangkat Anda. Alat ini 100% gratis tanpa pendaftaran, tanpa akun, dan tanpa batasan penggunaan.

Batasan penting: Algoritme ini dirancang untuk deteksi kesamaan berbasis konten. File yang secara semantik mirip tetapi memiliki konten biner yang sangat berbeda (misalnya, teks yang sama disimpan dalam format PDF vs. DOCX) tidak akan terdeteksi sebagai hampir duplikat. File yang sangat kecil (di bawah 64 byte) mungkin menghasilkan potongan yang tidak mencukupi untuk perbandingan yang berarti. Waktu pemrosesan bertambah seiring dengan jumlah file karena setiap pasangan harus dibandingkan. Untuk kumpulan yang sangat besar (50+ file), pertimbangkan untuk memproses dalam kelompok yang lebih kecil.