staging.inyokaproject.org

Borg Backup Kommpression Multicore möglich

Status: Gelöst | Ubuntu-Version: Server 18.04 (Bionic Beaver)
Antworten |

Kaffetrinker

Avatar von Kaffetrinker

Anmeldungsdatum:
8. August 2007

Beiträge: 205

Hallo

Seit längerem benütze ich Borg und bin eigentlich soweit zufrieden. Leider ist mir aufgefallen das wenn ich die Kompression zlib oder lzma benütze nur ein Core benützt wird und dieser meist mit 100% ausgelastet ist. Ich würde aber gerne die last auf alle Cores verteilen.

Ist es bei euch auch so?

Gibt es da Einstellungen oder ist es technisch bedingt?

1
borg create -vsC zlib,9  /mnt/sicherung/::intern-{now:%d-%m-%Y--%H-%M} 

encbladexp Team-Icon

Ehemaliger
Avatar von encbladexp

Anmeldungsdatum:
16. Februar 2007

Beiträge: 17531

Es gibt da keine Option, es macht auch keinen Sinn zlib zu verwenden. Nutze lz4, den Rest mach die Deduplizierung von borg.

mfg Stefan

Kaffetrinker

(Themenstarter)
Avatar von Kaffetrinker

Anmeldungsdatum:
8. August 2007

Beiträge: 205

encbladexp schrieb:

Es gibt da keine Option, es macht auch keinen Sinn zlib zu verwenden. Nutze lz4, den Rest mach die Deduplizierung von borg.

Was wie genau 😕 Ich wollte eigentlich nicht über den Sinn von einer Kompression schreiben. Auf was beruht deine aussage?

https://borgbackup.readthedocs.io/en/stable/

Compression All data can be optionally compressed:

lz4 (super fast, low compression)

zstd (wide range from high speed and low compression to high compression and lower speed)

zlib (medium speed and compression)

lzma (low speed, high compression)

Es ist bei mir so, dass der Task sich nicht auf die verschiedenen Kerne verteilt, sondern auf einem ist und dieser bis 100% ausgelastet. Multicore bedeutet doch das sich die Kompression auf zum Beispiel 2 Kerne verteilt ergo 200%.

Ich hätte gerne lzma mit Multicore Unterstützung gibt es das?

Planspiel

Anmeldungsdatum:
2. Mai 2016

Beiträge: 673

Kaffetrinker schrieb:

Ich hätte gerne lzma mit Multicore Unterstützung gibt es das?

pxz?

ps@sp:~$ apt show pxz
Package: pxz
Version: 4.999.99~beta5+gitfcfea93-2
Priority: optional
Section: universe/misc
Origin: Ubuntu
Maintainer: Ubuntu Developers <ubuntu-devel-discuss@lists.ubuntu.com>
Original-Maintainer: Holger Levsen <holger@debian.org>
Bugs: https://bugs.launchpad.net/ubuntu/+filebug
Installed-Size: 33,8 kB
Depends: libc6 (>= 2.4), libgomp1 (>= 4.9), liblzma5 (>= 5.1.1alpha+20120614)
Homepage: https://jnovy.fedorapeople.org/pxz/
Download-Size: 10,9 kB
APT-Sources: http://archive.ubuntu.com/ubuntu bionic/universe amd64 Packages
Description: parallel LZMA compressor using liblzma
 Parallel XZ is a compression utility that takes advantage of running LZMA
 compression of different parts of an input file on multiple cores and
 processors simultaneously. Its primary goal is to utilize all resources to
 speed up compression time with minimal possible influence on compression
 ratio.

encbladexp Team-Icon

Ehemaliger
Avatar von encbladexp

Anmeldungsdatum:
16. Februar 2007

Beiträge: 17531

Kaffetrinker schrieb:

Ich wollte eigentlich nicht über den Sinn von einer Kompression schreiben. Auf was beruht deine aussage?

Erfahrung, die Zeit die man in lzma oder zlib steckt bringt einem was Platz angeht nur sehr weniger bei den heute verwendeten Daten (Bilder, Videos, etc pp). lz4/zstd sind schnell genug um Daten für SSDs zu Komprimieren, egal ob nur ein Core ausgelastet ist.

…sondern auf einem ist und dieser bis 100% ausgelastet. Multicore bedeutet doch das sich die Kompression auf zum Beispiel 2 Kerne verteilt ergo 200%.

Das Prinzip ist mir klar, aber ein Tool muss das auch verwenden können. Bringt ja nicht wenn Borg mit mehr als einem Core Komprimieren könnte, der Rest aber nur einen Core nutzen kann und dann dort der Flaschenhals liegt.

Ich hätte gerne lzma mit Multicore Unterstützung gibt es das?

Gibt es, aber nicht für Borg.

mfg Stefan

Planspiel

Anmeldungsdatum:
2. Mai 2016

Beiträge: 673

encbladexp schrieb:

lz4/zstd sind schnell genug um Daten für SSDs zu Komprimieren, egal ob nur ein Core ausgelastet ist.

lz4 wäre auch multi-core, wenn man der Beschreibung trauen darf: "LZ4 is a very fast lossless compression algorithm, providing compression speed at 400 MB/s per core, scalable with multi-cores CPU."

Antworten |