Kompresor NDJSON / JSONL

Berikut adalah keunggulan utama alat ini.

• Kompresi NDJSON / JSONL instan: kompres file log NDJSON dan JSONL ke GZIP seketika di browser Anda - tanpa unggah ke server dan tanpa pemrosesan cloud. Kompresor ndjson jsonl kami menggunakan API CompressionStream bawaan untuk performa maksimal.
• Kompresor NDJSON JSONL online yang aman: file log NDJSON dan JSONL Anda tidak pernah meninggalkan perangkat Anda saat dikompresi. Pemrosesan 100% di sisi klien berarti privasi penuh - tanpa penyimpanan cloud, tanpa log server, dan tanpa paparan data log.
• Kompresor NDJSON JSONL tanpa pemasangan: kompres file NDJSON dan JSONL langsung di browser Anda tanpa mengunduh perangkat lunak, tanpa plugin, dan tanpa akun. Berfungsi di browser modern mana pun pada sistem operasi apa pun - tanpa pendaftaran.
• Analisis struktur NDJSON dan validasi JSON: kompresor menganalisis struktur file NDJSON Anda - menampilkan total baris, baris JSON valid/tidak valid, baris kosong, dan ukuran baris rata-rata. Secara opsional meminifikasi setiap baris JSON sebelum kompresi untuk pengurangan ukuran maksimal.

Berikut adalah skenario yang paling umum.

• Kompresi log aplikasi: kompres log JSON terstruktur dari Winston, Bunyan, Pino, dan lainnya sebelum diarsipkan atau dibagikan. File log NDJSON biasanya mencapai kompresi GZIP 85-95% karena nama kunci JSON sangat berulang di jutaan baris log.
• Kompresi ekspor log cloud: kompres ekspor NDJSON dari AWS CloudWatch, Google Cloud Logging, dan Datadog sebelum mengunggah ke S3 atau GCS. File log terkompresi menurunkan biaya penyimpanan 85-95% dan transfer lebih cepat untuk pipeline analisis log.
• Pengarsipan aliran peristiwa API: kompres aliran peristiwa JSONL dari Kafka, Kinesis, dan Pub/Sub sebelum pengarsipan jangka panjang. Kompresor memvalidasi setiap baris JSON dan melaporkan rekaman tidak valid sebelum kompresi.
• Kompresi dataset machine learning: kompres dataset pelatihan JSONL untuk model ML sebelum mengunggah ke Hugging Face, S3, atau GCS. JSONL adalah format standar dataset ML - mengompres dengan GZIP mengurangi waktu unggah dan biaya penyimpanan secara drastis.
• Kompresi log peristiwa analitik: kompres log peristiwa analitik dalam format NDJSON sebelum dibagikan ke tim data atau diunggah ke data warehouse. Opsi minifikasi menghapus spasi dari setiap peristiwa JSON sebelum kompresi untuk pengurangan ukuran maksimal.
• Membagikan log pengembangan dan debugging: kompres log debug NDJSON yang besar sebelum dibagikan ke rekan kerja atau dilampirkan ke issue GitHub. Analisis struktur menunjukkan jumlah baris dan baris JSON tidak valid - berguna untuk memvalidasi integritas file log sebelum dibagikan.

NDJSON (Newline Delimited JSON) dan JSONL (JSON Lines) adalah format yang identik - setiap baris file adalah objek JSON yang lengkap dan valid. Format ini menjadi standar untuk file log terstruktur, aliran peristiwa, dataset pelatihan ML, dan keluaran pipeline data. File NDJSON ideal untuk pemrosesan streaming karena setiap baris dapat diurai secara independen. File ini juga sangat terkompresi dengan GZIP karena nama kunci JSON berulang di setiap baris - file log NDJSON 100 MB biasanya terkompresi menjadi 5-15 MB. Kompresor ndjson jsonl kami menggunakan API CompressionStream bawaan browser untuk mengompres file Anda sepenuhnya secara lokal.

Ikuti tiga langkah berikut.

1. 1 Unggah file NDJSON atau JSONL Anda: seret dan lepas file .ndjson , .jsonl , .json , .txt , atau .log apa pun. File dibaca sebagai teks di browser Anda - tidak ada data yang dikirim ke server mana pun.
2. 2 Pilih opsi kompresi dan klik «Kompres ke GZIP»: kompresor secara opsional meminifikasi setiap baris JSON (menghapus spasi) dan membuang baris kosong sebelum kompresi GZIP. Alat ini menganalisis struktur NDJSON dan memvalidasi setiap baris JSON.
3. 3 Unduh file terkompresi: file .ndjson.gz keluaran diunduh secara otomatis. Panel hasil menampilkan ukuran asli, ukuran setelah minifikasi, ukuran terkompresi, persentase pengurangan total, dan analisis struktur NDJSON.

Beberapa faktor menjelaskan kompresi ini.

• Nama kunci berulang: setiap baris JSON dalam file NDJSON berisi nama kunci yang sama (misalnya, "timestamp" , "level" , "message" ). Algoritma LZ77 pada GZIP mengidentifikasi pengulangan ini dan menggantinya dengan rujukan balik, mencapai kompresi 85-95% untuk file log pada umumnya.
• Minifikasi memperkuat kompresi: menghapus spasi dari setiap baris JSON sebelum kompresi GZIP mengurangi ukuran masukan 10-30% dan meningkatkan rasio kompresi GZIP dengan menurunkan entropi.
• Penghapusan baris kosong: banyak generator NDJSON menambahkan baris kosong di antara rekaman. Menghapusnya sebelum kompresi mengurangi ukuran masukan dan menghilangkan entropi yang tidak perlu.
• Dekompresi: dekompres keluarannya dengan gunzip file.ndjson.gz di Linux/macOS, atau gunakan gzip.open() dari Python atau zlib.createGunzip() dari Node.js .

Kompresor ndjson jsonl menggunakan API CompressionStream bawaan browser, yang didukung Chrome 80+, Firefox 113+, Safari 16.4+, dan Edge 80+. Batas ukuran file praktis bergantung pada RAM yang tersedia di perangkat Anda - sebagian besar perangkat modern menangani file hingga beberapa ratus MB tanpa masalah. Untuk file yang sangat besar (lebih dari 1 GB), pertimbangkan alat baris perintah: gzip -9 file.ndjson atau jq -c . file.ndjson | gzip -9 > file.ndjson.gz .