Компрессор NDJSON / JSONL

Это основные преимущества инструмента.

• Мгновенное сжатие NDJSON / JSONL: сжимайте журналы NDJSON и JSONL в GZIP сразу в браузере — без загрузки на сервер и без облачной обработки. Наш компрессор ndjson jsonl использует нативный API CompressionStream для максимальной производительности.
• Безопасный онлайн-компрессор NDJSON JSONL: ваши журналы NDJSON и JSONL никогда не покидают устройство при сжатии. Обработка на 100% на стороне клиента означает полную конфиденциальность — без облачного хранения, без серверных журналов и без утечки данных журналов.
• Компрессор NDJSON JSONL без установки: сжимайте NDJSON- и JSONL-файлы прямо в браузере без загрузки программ, без плагинов и без аккаунта. Работает в любом современном браузере на любой операционной системе — без регистрации.
• Анализ структуры NDJSON и проверка JSON: компрессор анализирует структуру вашего NDJSON-файла — показывает общее число строк, корректные и некорректные JSON-строки, пустые строки и средний размер строки. При желании минифицирует каждую JSON-строку перед сжатием для максимального уменьшения размера.

Это наиболее частые сценарии.

• Сжатие журналов приложений: сжимайте структурированные JSON-журналы Winston, Bunyan, Pino и других перед архивированием или отправкой. Журналы NDJSON обычно достигают сжатия GZIP на 85-95% из-за сильной повторяемости имён ключей JSON на миллионах строк.
• Сжатие облачных экспортов журналов: сжимайте NDJSON-экспорты из AWS CloudWatch, Google Cloud Logging и Datadog перед загрузкой в S3 или GCS. Сжатые журналы снижают затраты на хранение на 85-95% и быстрее передаются в конвейерах анализа журналов.
• Архивирование потоков событий API: сжимайте потоки событий JSONL из Kafka, Kinesis и Pub/Sub перед долговременным архивированием. Компрессор проверяет каждую JSON-строку и сообщает о некорректных записях до сжатия.
• Сжатие наборов данных для машинного обучения: сжимайте JSONL-наборы данных для обучения ML-моделей перед загрузкой в Hugging Face, S3 или GCS. JSONL — стандартный формат наборов данных ML: сжатие GZIP резко сокращает время загрузки и затраты на хранение.
• Сжатие журналов аналитических событий: сжимайте журналы аналитических событий в формате NDJSON перед отправкой командам данных или загрузкой в хранилища данных. Опция минификации удаляет пробелы из каждого JSON-события перед сжатием для максимального уменьшения размера.
• Обмен журналами разработки и отладки: сжимайте большие NDJSON-журналы отладки перед отправкой коллегам или прикреплением к issue в GitHub. Анализ структуры показывает число строк и некорректные JSON-строки — полезно для проверки целостности журнала перед отправкой.

NDJSON (Newline Delimited JSON) и JSONL (JSON Lines) — идентичные форматы: каждая строка файла является полным корректным JSON-объектом. Этот формат стал стандартом для структурированных журналов, потоков событий, наборов данных для обучения ML и выходных данных конвейеров. NDJSON-файлы идеальны для потоковой обработки, поскольку каждую строку можно разбирать независимо. Они также отлично сжимаются GZIP, так как имена ключей JSON повторяются в каждой строке: NDJSON-журнал размером 100 МБ обычно сжимается до 5-15 МБ. Наш компрессор ndjson jsonl использует нативный браузерный API CompressionStream, чтобы сжимать ваши файлы полностью локально.

Выполните эти три шага.

1. 1 Загрузите NDJSON- или JSONL-файл: перетащите любой файл .ndjson , .jsonl , .json , .txt или .log . Файл читается как текст в браузере — данные не отправляются на сервер.
2. 2 Выберите параметры сжатия и нажмите «Сжать в GZIP»: компрессор при желании минифицирует каждую JSON-строку (удаляя пробелы) и убирает пустые строки перед сжатием GZIP. Он анализирует структуру NDJSON и проверяет каждую JSON-строку.
3. 3 Скачайте сжатый файл: итоговый файл .ndjson.gz скачивается автоматически. Панель результатов показывает исходный размер, размер после минификации, сжатый размер, общий процент сокращения и анализ структуры NDJSON.

Несколько факторов объясняют такое сжатие.

• Повторяющиеся имена ключей: каждая JSON-строка в NDJSON-файле содержит одни и те же имена ключей (например, "timestamp" , "level" , "message" ). Алгоритм LZ77 в GZIP находит эти повторы и заменяет их обратными ссылками, достигая сжатия на 85-95% для типичных журналов.
• Минификация усиливает сжатие: удаление пробелов из каждой JSON-строки перед сжатием GZIP уменьшает входной размер на 10-30% и улучшает степень сжатия GZIP за счёт снижения энтропии.
• Удаление пустых строк: многие генераторы NDJSON добавляют пустые строки между записями. Их удаление перед сжатием уменьшает входной размер и устраняет лишнюю энтропию.
• Распаковка: распакуйте результат с помощью gunzip файл.ndjson.gz в Linux/macOS либо используйте gzip.open() в Python или zlib.createGunzip() в Node.js .

Компрессор ndjson jsonl использует нативный браузерный API CompressionStream, поддерживаемый Chrome 80+, Firefox 113+, Safari 16.4+ и Edge 80+. Практический лимит размера файла зависит от доступной оперативной памяти устройства — большинство современных устройств обрабатывает файлы до нескольких сотен МБ. Для очень больших файлов (более 1 ГБ) рассмотрите утилиты командной строки: gzip -9 файл.ndjson или jq -c . файл.ndjson | gzip -9 > файл.ndjson.gz .