Как ускорить gzip сжатие?

admin

Когда нужно сжимать большие объемы текста на мощном железе, gzip может работать не так эффективно, как хотелось бы. Gzip работает в 1 поток и эффективно будет использовать только одно ядро.

Есть несколько альтернативных утилит, которые сжимают файлы используя все ядра. Одна из них – [http://zlib.net/pigz/ pigz]. Установить ее можно из пакетов:

apt-get install pigz

Для сравнения мы взяли текстовый файл на 4.6Гб и запускали оба архиватора на 8-ядерном сервере:

gzip test.txt
...
done in ***25.1s***

## Обычный gzip

pigz test.txt
...
done in **7.5s**

## Многопоточный pigz

pigz отработал в 4 раза быстрее

Есть и [https://github.com/klauspost/pgzip другие инструменты сжатия], которые используют современные процессоры намного эффективнее стандартного gzip’a.

Останні статті

Что такое прокси-сервер: пояснение простыми словами, зачем нужны прокси

Прокси (proxy), или прокси-сервер — это программа-посредник, которая обеспечивает соединение между пользователем и интернет-ресурсом. Принцип…

21.11.2024

Что такое PWA приложение? Зачем необходимо прогрессивное веб-приложение

Согласитесь, было бы неплохо соединить в одно сайт и приложение для смартфона. Если вы еще…

19.11.2024

Как создать игру на телефоне: программирование с помощью конструктора

Повсеместное распространение смартфонов привело к огромному спросу на мобильные игры и приложения. Миллиарды пользователей гаджетов…

17.11.2024

Google Bard: эффективный аналог ChatGPT

В перечне популярных чат-ботов с искусственным интеллектом Google Bard (Gemini) еще не пользуется такой популярностью…

14.11.2024

Скрипт и программирование: что это такое простыми словами

Скрипт (англ. — сценарий), — это небольшая программа, как правило, для веб-интерфейса, выполняющая определенную задачу.…

12.11.2024

Дедлайн в разработке: что это такое простыми словами

Дедлайн (от англ. deadline — «крайний срок») — это конечная дата стачи проекта или задачи…

11.11.2024