staging.inyokaproject.org

rsync und timestamps

Status: Ungelöst | Ubuntu-Version: Kein Ubuntu
Antworten |

shinichi

Anmeldungsdatum:
14. März 2008

Beiträge: 735

Hallo uusers! =)

Ich habe eine Frage zum Verhalten von rsync. Ich will es nutzen, um spezielle Dateien von einem HW-RAID auf eine externe Festplatte zu syncronisieren. Dabei checkt rsync Dateigröße und Zeitstempel. Durch Drittprogramme wurden von den Daten schon ein Backup auf die externe Platte geschrieben, es sollten also nur die neuesten Dateien und Änderungen übertragen werden. Das passierte aber nicht. So ziemlich bei jeder TIFF-Datei und PSD-Datei und einigen JPEGs hat sich scheinbar der Zeitstempel geändert ( laut --itemize-changes) und somit werden diese Dateien erneut übertragen. So eigentlich alle PDFs und paar JPEGs dagegen sind identisch und werden nicht übertragen. Ich komm bei der Willkür nicht drauf, woran das liegen mag. rsync sieht so aus:

rsync -a --8-bit-output --delete-after -v --progress --partial --itemize-changes --human-readable --stats

Beim zweiten Versuch erkennt er es dann richtig und überträgt wirklich nur das neueste. Nur danach tauchen ab und an wieder einzelne Dateien auf, die sich eigentlich nicht änderten bzw die nicht vom Benutzer angefasst wurden. Diese werden dann wiederum wegen abweichender Zeitstempel übertragen.

Da fällt mir noch ne kleine Frage ein. Wann löscht --delete-after die alte Datei im Backup? Nachdem er die eine neue Datei übertragen hat oder nachdem er alle neuen Dateien übertragen hat (also am Ende von rsync)? Mir kommt da nämlich gerade in den Sinn, das mal die Platte zu voll sein kann. Da ist aber die Frage: Zu voll für was? Für die grösste zu übertragende Datei oder für im schlimmsten Fall sämliche Dateien?

Danke für die Hilfe. =)

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Hallo shinichi,

leider sind Deine Angaben nicht besonders vollständig. Aber ich versuch's mal 🦆

rsync vergleicht die mtime der unterschiedlichen Dateien und behält diese mtime auch beim Kopieren bei. Vermutlich machen das Deine "Drittprogramme" nicht!?

Eine Abhilfe sollte die Verwendung eines der beiden Prüfsummenalgorithmen von rsync bringen. Dann musst Du (bzw. rsync) aber immer alle Dateien komplett lesen, was bei einer usb-2 Platte (abhängig von Dateigrößen) nicht so toll ist.

Den Nachteil und den, dass das m.E. kein Backup ist (Du hast keine Historie und falls eine Datei im Quelltext defekt ist, ist sie es kurze Zeit später auch in der Kopie.) hättest Du nicht, wenn Du storeBackup (ist im Paketmanager oder in neuerer Version hier: http://storebackup.org/) verwendest. Du kannst damit zwei (unabhängige) Backups auf die externe Platte machen (mit Historie) und diese automatisch über Hardlinks miteinander verbinden (kein FAT Filesystem möglich!). Dabei benötigst Du nicht mehr Platz als jetzt (falls Du komprimierst oder mehrfach vorkommende Dateien hast sogar weniger) und von der (angenommenen) usb-2 Disk brauchen keinerlei Dateien für das Backup gelesen werden.

Vielleicht hilft Dir das!? Mit sind die Zusammenhänge mit den "Drittprogrammen" nicht klar, daher passt meine Antwort vielleicht nicht.

ixo

shinichi

(Themenstarter)

Anmeldungsdatum:
14. März 2008

Beiträge: 735

Hey, danke für die Info.

Ah, mit Drittprogramm meine ich irgendwelche GUIs für rsync, wo ich aber irgendwie nicht rausfinden kann, wie genau die rsync benutzen. Ich meine damit auch, dass eben die Daten schon vorher da waren im backup-Ordner. Demnach hätte mein selbst getippter rsync wenig syncronisieren müssen. Das tat er aber nicht, weil er meinte, die Zeitstempel bei viiiielen vielen anderen Dateien wären anders.

Ja, Prüfsummen wollte ich eigentlich nicht benutzen.

Deinen Vorschlag mit der anderen backup-Strategie lass ich mir mal durch den Kopf gehen. ^^

Danke nochmal. =)

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Bei der oben genannten Backup Suite gibt's ein kleines Hilfsprogramm namens llt, dass könntest Du verwenden, um Dir die verschiedenen "Datums" sekundengenau und übersichtlich anzusehen.

Tja, hört sich ansonsten etwas schwer zu durchschauen an 😕

Viel Erfolg, ixo

Antworten |