Simulador de compressão de dicionário

• Construção e compactação instantânea de dicionário: cole dados de amostra e uma string de destino para criar instantaneamente um dicionário de compactação personalizado e simular compactação - inteiramente em seu navegador. O simulador de compactação de dicionário extrai as principais frases pelos bytes salvos e mostra os resultados em segundos, sem upload do servidor.
• Simulador de compactação de dicionário seguro on-line: seus dados de amostra e strings de destino nunca saem do seu dispositivo. O simulador de compactação de dicionário é executado inteiramente no seu navegador - sem uploads de servidor, sem transmissão de dados, 100% privado. Seguro para cargas de API, dados de log e conteúdo proprietário.
• Comparação de compactação de quatro vias: o simulador de compactação de dicionário mostra quatro resultados lado a lado: tamanho original, somente GZIP, somente dicionário e dicionário + GZIP combinados - para que você possa ver exatamente quanto cada técnica contribui e se um dicionário compartilhado vale a pena a sobrecarga para seus dados.
• 100% gratuito para sempre: o simulador de compactação de dicionário é totalmente gratuito, sem inscrição, sem nível premium, sem limites de tamanho de dados e sem anúncios. Simule a compactação de dicionário para cargas ilimitadas a custo zero, para sempre.

• Planejamento de compactação de resposta da API: cole uma amostra de suas respostas da API como dados de treinamento e uma nova resposta como destino. O simulador de compactação de dicionário mostra o quanto um dicionário compartilhado reduziria o tamanho do fio em comparação com o GZIP simples - crítico para terminais de API de alta frequência onde a sobrecarga de inicialização a frio do GZIP é significativa.
• Análise de compactação de linha de log: use linhas de log históricas como dados de amostra e novas entradas de log como destino. O simulador de compactação de dicionário identifica as frases mais repetidas em seus logs – carimbos de data/hora, nomes de campos, códigos de status – e mostra o quanto um dicionário compartilhado reduziria os custos de armazenamento de logs.
• Avaliação do dicionário compartilhado Brotli: avalie se um dicionário compartilhado Brotli (suportado no Chrome 117+ por meio da especificação Compression Dictionary Transport) beneficiaria seu aplicativo da web. O simulador de compactação de dicionário modela a mesma abordagem de extração de frases que Brotli usa para seu dicionário estático.
• Treinamento de dicionário Zstandard: Antes de executar zstd --train em seu servidor, use o simulador de compactação de dicionário para estimar o benefício da compactação e as configurações ideais de comprimento de frase para seu tipo de dados. Isso ajuda você a decidir se a sobrecarga de treinamento é justificada para seu caso de uso.
• Compactação de mensagens WebSocket: para aplicativos WebSocket que enviam muitas mensagens pequenas do mesmo esquema, o simulador de compactação de dicionário mostra o quanto um dicionário compartilhado reduziria o tamanho da mensagem em comparação com o GZIP por mensagem - o que é especialmente valioso para feeds de dados em tempo real e aplicativos de bate-papo.
• Educação sobre algoritmo de compactação: O simulador de compactação de dicionário é uma excelente ferramenta educacional para entender como funciona a codificação de dicionário LZ77, Brotli e Zstandard. Veja exatamente quais frases são extraídas, quantas substituições são feitas e como o pré-processamento do dicionário amplifica a compactação GZIP.

A compactação de dicionário é uma técnica em que substrings que ocorrem com frequência são substituídas por pequenas referências anteriores a um dicionário de compactação pré-construído. Em vez de codificar cada caractere individualmente, o compressor diz "use a frase nº 42 do dicionário" - uma referência de 2 bytes que substitui uma string de 20 bytes. Algoritmos como LZ77, Brotli e Zstandard usam codificação de dicionário internamente. A principal conclusão é que um dicionário compartilhado – pré-acordado entre compressor e descompressor – elimina o problema de inicialização a frio que torna o GZIP ineficaz para pequenas cargas úteis. Nosso simulador de compressão de dicionário modela esse processo usando análise de frequência de n gramas em seus dados de amostra.

1. 1 Cole dados de amostra e uma string de destino: Os dados de amostra são usados ​​para construir o dicionário - use dados representativos do mesmo tipo que você deseja compactar (por exemplo, respostas anteriores da API, linhas de log, modelos HTML). O destino é a string que você deseja compactar. Ambos são processados ​​inteiramente no seu navegador - nenhum dado é enviado para nenhum servidor.
2. 2 Clique em "Simular compactação de dicionário": O simulador de compactação de dicionário extrai todos os n-gramas (substrings de comprimento configurável) dos dados de amostra, conta sua frequência e os classifica pelo total de bytes salvos. Uma passagem de desduplicação gananciosa remove subfrases redundantes. As N frases principais formam o dicionário.
3. 3 Compare os resultados: O simulador mostra quatro tamanhos - original, somente GZIP, somente dicionário e dicionário + GZIP - com um gráfico de barras visual, grade de estatísticas e uma tabela das principais frases do dicionário com sua frequência e bytes salvos. Os tamanhos GZIP são exatos (API CompressionStream nativa).

• Frases do dicionário: as N principais substrings dos dados de amostra classificadas pelo total de bytes salvos - (comprimento da frase - 2) × frequência. O −2 é responsável pelo custo de referência anterior de 2 bytes que substitui cada ocorrência de frase.
• Substituições feitas: o número total de ocorrências de frase substituídas na sequência de destino. Mais substituições significa que os dados de destino correspondem aos dados de amostra - um bom sinal para a eficácia do dicionário.
• Sobrecarga do dicionário: o tamanho total do próprio dicionário (bytes de frase + índice de 2 bytes por entrada). Este é um custo único compartilhado por todas as mensagens compactadas – insignificante ao compactar muitas cargas úteis.
• Tamanhos GZIP (exatos): tamanhos compactados GZIP reais calculados usando a API CompressionStream nativa do navegador - tanto para o destino original quanto para o destino pré-processado pelo dicionário.

O GZIP padrão constrói sua própria tabela de referência anterior LZ77 do zero para cada carga útil compactada. Para arquivos grandes isso funciona bem - o compressor possui dados suficientes para encontrar padrões repetidos. Mas para cargas pequenas (abaixo de 1 KB), a sobrecarga de inicialização a frio do GZIP domina e as taxas de compactação são baixas. Um dicionário compartilhado resolve isso pré-carregando o compressor com padrões conhecidos antes de ver os dados de destino. É por isso que o Brotli consegue uma compactação melhor do que o GZIP para conteúdo da web - seu dicionário estático integrado de mais de 13.000 strings HTML, CSS e JavaScript oferece uma vantagem inicial em cada resposta. O simulador de compactação de dicionário permite criar e testar seu próprio dicionário específico de domínio para obter o mesmo efeito.