staging.inyokaproject.org

Hallo!

Gibt es eine Möglichkeit die tar-Performance zu optimieren? Dies speziell bei vielen kleinen Dateien?

Tar selbst scheint der Flaschenhals zu sein, bei der unserer Backup-Erstellung mit tar, pigz und ssh.

Danke

Nicht wirklich.

Tar selbst scheint der Flaschenhals zu sein, bei der unserer Backup-Erstellung mit tar, pigz und ssh.

Wenns nicht gerade lokales Netzwerk ist dann wäre eigentlich normal eher SSH der Flaschenhals. Bei vielen kleinen Dateien hast du aber auch ein Syscall-Overhead (viele kleine Reads und bei HDDs für jede Datei ein Seek) und viele Dateisysteme können nicht wirklich gut mit Winzdateien.

Wenn du mit SSH eine Pipe meinst, klebe mal noch an beiden Enden einen Pipebuffer zwischen.

lb89 schrieb:

Gibt es eine Möglichkeit die tar-Performance zu optimieren? Dies speziell bei vielen kleinen Dateien?

Was tar macht (Dateien suchen, Inhalte und Metadaten lesen), muss eigentlich jedes Archivprogramm machen - es sei denn, Du verzichtest auf Berechtigungen und andere Metadaten (meist nicht sinnvoll). M.E. arbeitet tar in Kombination mit gzip oder bzip2 sogar besser als z.B. zip, das alle Dateien einzeln komprimiert.

Tar selbst scheint der Flaschenhals zu sein, bei der unserer Backup-Erstellung mit tar, pigz und ssh.

Woran machst Du das fest, dass tar der Flaschenhals ist? Bis zum Beweis des Gegenteils gehe ich davon aus, dass der ganze Sicherungsprozess IO-gebunden ist - und das bekommst Du m.E. eher durch Tuning oder Austausch des Dateisystems in den Griff (oder Verlagerung von drehenden Scheiben auf SSD).

Als Alternative kann man auch noch dar versuchen. Die Kommandozeilenoptionen sind recht komplex, aber der Funktionsumfang ist auch erheblich.

PS: Eine Sache fällt mir noch ein: falls Du viele große Dateien mit "Leerraum" hast, könnte Option "-S" etwas bringen.

Welche Datenmenge? Wo werden die Daten wie übertragen? Was für Netzwerkanbindung falls Netzwerk im Spiel ist? Gibt mal ein konkretes Beispiel.

Generell:

1. Verschlüsselung kostet Zeit

2. Kompression kostet Zeit

3. Tar an sich, benötigt kaum Zeit / ist nicht relevant

mfg Stefan