Compresseur NDJSON / JSONL

Voici les principaux avantages de l'outil.

• Compression NDJSON / JSONL instantanée : compressez les fichiers de journal NDJSON et JSONL en GZIP instantanément dans votre navigateur - aucun envoi au serveur, aucun traitement cloud. Notre compresseur ndjson jsonl utilise l'API native CompressionStream pour des performances maximales.
• Compresseur NDJSON JSONL en ligne sécurisé : vos fichiers de journal NDJSON et JSONL ne quittent jamais votre appareil lorsque vous les compressez. Un traitement 100 % côté client garantit une confidentialité totale - aucun stockage cloud, aucun journal serveur, aucune exposition des données de journal.
• Compresseur NDJSON JSONL sans installation : compressez des fichiers NDJSON et JSONL directement dans votre navigateur sans téléchargement de logiciel, sans extension et sans compte. Fonctionne sur tout navigateur moderne et tout système d'exploitation - sans inscription.
• Analyse de structure NDJSON et validation JSON : le compresseur analyse la structure de votre fichier NDJSON - affichant le nombre total de lignes, les lignes JSON valides/invalides, les lignes vides et la taille moyenne des lignes. Il minifie éventuellement chaque ligne JSON avant compression pour une réduction de taille maximale.

Voici les scénarios les plus courants.

• Compression des journaux d'application : compressez les journaux JSON structurés de Winston, Bunyan, Pino et autres avant de les archiver ou de les partager. Les fichiers de journal NDJSON atteignent généralement une compression GZIP de 85 à 95 % en raison de la forte répétition des noms de clés JSON sur des millions de lignes.
• Compression des exports de journaux cloud : compressez les exports NDJSON d'AWS CloudWatch, Google Cloud Logging et Datadog avant de les envoyer vers S3 ou GCS. Les fichiers de journal compressés réduisent les coûts de stockage de 85 à 95 % et se transfèrent plus vite pour les pipelines d'analyse de journaux.
• Archivage de flux d'événements d'API : compressez les flux d'événements JSONL de Kafka, Kinesis et Pub/Sub avant un archivage à long terme. Le compresseur valide chaque ligne JSON et signale les enregistrements invalides avant compression.
• Compression de jeux de données de machine learning : compressez les jeux de données JSONL d'entraînement pour les modèles de ML avant de les envoyer vers Hugging Face, S3 ou GCS. JSONL est le format standard des jeux de données ML - compresser avec GZIP réduit considérablement le temps d'envoi et les coûts de stockage.
• Compression de journaux d'événements analytiques : compressez les journaux d'événements analytiques au format NDJSON avant de les partager avec les équipes de données ou de les envoyer vers des entrepôts de données. L'option de minification supprime les espaces de chaque événement JSON avant compression pour une réduction de taille maximale.
• Partage de journaux de développement et de débogage : compressez les gros journaux de débogage NDJSON avant de les partager avec vos collègues ou de les joindre à des tickets GitHub. L'analyse de structure indique le nombre de lignes et les lignes JSON invalides - utile pour valider l'intégrité du fichier de journal avant de le partager.

NDJSON (Newline Delimited JSON) et JSONL (JSON Lines) sont des formats identiques - chaque ligne du fichier est un objet JSON complet et valide. Ce format est la norme pour les fichiers de journal structurés, les flux d'événements, les jeux de données d'entraînement ML et les sorties de pipelines de données. Les fichiers NDJSON sont idéaux pour le traitement en streaming car chaque ligne peut être analysée indépendamment. Ils sont également très compressibles avec GZIP, car les noms de clés JSON se répètent sur chaque ligne - un fichier de journal NDJSON de 100 Mo se compresse généralement à 5-15 Mo. Notre compresseur ndjson jsonl utilise l'API native CompressionStream du navigateur pour compresser vos fichiers entièrement localement.

Suivez ces trois étapes.

1. 1 Envoyez votre fichier NDJSON ou JSONL : glissez-déposez n'importe quel fichier .ndjson , .jsonl , .json , .txt ou .log . Le fichier est lu comme du texte dans votre navigateur - aucune donnée n'est envoyée à un serveur.
2. 2 Choisissez les options de compression et cliquez sur « Compresser en GZIP » : le compresseur minifie éventuellement chaque ligne JSON (suppression des espaces) et supprime les lignes vides avant la compression GZIP. Il analyse la structure NDJSON et valide chaque ligne JSON.
3. 3 Téléchargez le fichier compressé : le fichier .ndjson.gz de sortie se télécharge automatiquement. Le panneau de résultats affiche la taille d'origine, la taille minifiée, la taille compressée, le pourcentage total de réduction et l'analyse de structure NDJSON.

Plusieurs facteurs expliquent cette compression.

• Noms de clés répétitifs : chaque ligne JSON d'un fichier NDJSON contient les mêmes noms de clés (par exemple, "timestamp" , "level" , "message" ). L'algorithme LZ77 de GZIP identifie ces répétitions et les remplace par des références arrière, atteignant une compression de 85 à 95 % pour les fichiers de journal classiques.
• La minification amplifie la compression : supprimer les espaces de chaque ligne JSON avant la compression GZIP réduit la taille d'entrée de 10 à 30 % et améliore le taux de compression de GZIP en réduisant l'entropie.
• Suppression des lignes vides : de nombreux générateurs NDJSON ajoutent des lignes vides entre les enregistrements. Les supprimer avant compression réduit la taille d'entrée et élimine une entropie inutile.
• Décompression : décompressez la sortie avec gunzip fichier.ndjson.gz sous Linux/macOS, ou utilisez gzip.open() de Python ou zlib.createGunzip() de Node.js .

Le compresseur ndjson jsonl utilise l'API native CompressionStream du navigateur, prise en charge par Chrome 80+, Firefox 113+, Safari 16.4+ et Edge 80+. La limite pratique de taille de fichier dépend de la RAM disponible sur votre appareil - la plupart des appareils modernes traitent des fichiers jusqu'à plusieurs centaines de Mo sans problème. Pour les fichiers très volumineux (plus de 1 Go), envisagez des outils en ligne de commande : gzip -9 fichier.ndjson ou jq -c . fichier.ndjson | gzip -9 > fichier.ndjson.gz .