Compressor NDJSON / JSONL

Estas são as principais vantagens da ferramenta.

• Compressão NDJSON / JSONL instantânea: comprima arquivos de log NDJSON e JSONL para GZIP na hora no seu navegador, sem envio para servidor e sem processamento na nuvem. Nosso compressor ndjson jsonl usa a API nativa CompressionStream para desempenho máximo.
• Compressor NDJSON JSONL online seguro: seus arquivos de log NDJSON e JSONL nunca saem do seu dispositivo ao comprimi-los. O processamento 100% no lado do cliente garante privacidade total: sem armazenamento na nuvem, sem registros de servidor e sem exposição de dados de log.
• Compressor NDJSON JSONL sem instalação: comprima arquivos NDJSON e JSONL diretamente no seu navegador sem downloads de software, sem plug-ins e sem conta. Funciona em qualquer navegador moderno e em qualquer sistema operacional, sem cadastro.
• Análise de estrutura NDJSON e validação JSON: o compressor analisa a estrutura do seu arquivo NDJSON, mostrando o total de linhas, as linhas JSON válidas/inválidas, as linhas vazias e o tamanho médio das linhas. Opcionalmente minifica cada linha JSON antes de comprimir para redução máxima de tamanho.

Estes são os cenários mais comuns.

• Compressão de logs de aplicações: comprima logs JSON estruturados de Winston, Bunyan, Pino e outros antes de arquivar ou compartilhar. Arquivos de log NDJSON geralmente atingem compressão GZIP de 85-95% devido à alta repetição de nomes de chaves JSON em milhões de linhas.
• Compressão de exportações de logs na nuvem: comprima exportações NDJSON do AWS CloudWatch, Google Cloud Logging e Datadog antes de enviá-las para S3 ou GCS. Arquivos de log comprimidos reduzem os custos de armazenamento em 85-95% e transferem mais rápido em pipelines de análise de logs.
• Arquivamento de fluxos de eventos de API: comprima fluxos de eventos JSONL do Kafka, Kinesis e Pub/Sub antes do arquivamento de longo prazo. O compressor valida cada linha JSON e informa registros inválidos antes da compressão.
• Compressão de conjuntos de dados de machine learning: comprima conjuntos de dados JSONL de treinamento de modelos de ML antes de enviá-los ao Hugging Face, S3 ou GCS. JSONL é o formato padrão dos conjuntos de dados de ML: comprimir com GZIP reduz drasticamente o tempo de envio e os custos de armazenamento.
• Compressão de logs de eventos de analytics: comprima logs de eventos de analytics em formato NDJSON antes de compartilhá-los com equipes de dados ou enviá-los a data warehouses. A opção de minificação remove os espaços de cada evento JSON antes da compressão para redução máxima de tamanho.
• Compartilhar logs de desenvolvimento e depuração: comprima logs de depuração NDJSON grandes antes de compartilhá-los com colegas ou anexá-los a issues do GitHub. A análise de estrutura mostra a contagem de linhas e as linhas JSON inválidas, útil para validar a integridade do arquivo de log antes de compartilhar.

NDJSON (Newline Delimited JSON) e JSONL (JSON Lines) são formatos idênticos: cada linha do arquivo é um objeto JSON completo e válido. Esse formato é o padrão para arquivos de log estruturados, fluxos de eventos, conjuntos de dados de treinamento de ML e saídas de pipelines de dados. Arquivos NDJSON são ideais para processamento em streaming porque cada linha pode ser analisada de forma independente. Também são altamente comprimíveis com GZIP, pois os nomes de chaves JSON se repetem em cada linha: um arquivo de log NDJSON de 100 MB geralmente comprime para 5-15 MB. Nosso compressor ndjson jsonl usa a API nativa CompressionStream do navegador para comprimir seus arquivos totalmente de forma local.

Siga estes três passos.

1. 1 Envie seu arquivo NDJSON ou JSONL: arraste e solte qualquer arquivo .ndjson , .jsonl , .json , .txt ou .log . O arquivo é lido como texto no seu navegador: nenhum dado é enviado a nenhum servidor.
2. 2 Escolha as opções de compressão e clique em «Comprimir para GZIP»: o compressor minifica opcionalmente cada linha JSON (removendo espaços) e remove as linhas vazias antes da compressão GZIP. Ele analisa a estrutura NDJSON e valida cada linha JSON.
3. 3 Baixe o arquivo comprimido: o arquivo .ndjson.gz de saída é baixado automaticamente. O painel de resultados mostra o tamanho original, o tamanho minificado, o tamanho comprimido, o percentual total de redução e a análise de estrutura NDJSON.

Vários fatores explicam essa compressão.

• Nomes de chaves repetitivos: cada linha JSON de um arquivo NDJSON contém os mesmos nomes de chaves (por exemplo, "timestamp" , "level" , "message" ). O algoritmo LZ77 do GZIP identifica essas repetições e as substitui por referências retroativas, alcançando compressão de 85-95% em arquivos de log típicos.
• A minificação amplifica a compressão: remover os espaços de cada linha JSON antes da compressão GZIP reduz o tamanho de entrada em 10-30% e melhora a taxa de compressão do GZIP ao reduzir a entropia.
• Remoção de linhas vazias: muitos geradores de NDJSON adicionam linhas em branco entre registros. Removê-las antes de comprimir reduz o tamanho de entrada e elimina entropia desnecessária.
• Descompressão: descomprima a saída com gunzip arquivo.ndjson.gz no Linux/macOS, ou use gzip.open() do Python ou zlib.createGunzip() do Node.js .

O compressor ndjson jsonl usa a API nativa CompressionStream do navegador, compatível com Chrome 80+, Firefox 113+, Safari 16.4+ e Edge 80+. O limite prático de tamanho de arquivo depende da RAM disponível no seu dispositivo: a maioria dos dispositivos modernos lida com arquivos de várias centenas de MB sem problemas. Para arquivos muito grandes (mais de 1 GB), considere usar ferramentas de linha de comando: gzip -9 arquivo.ndjson ou jq -c . arquivo.ndjson | gzip -9 > arquivo.ndjson.gz .