staging.inyokaproject.org

Backup und gleichzeitig weiterarbeiten?

Status: Ungelöst | Ubuntu-Version: Lubuntu 12.04 (Precise Pangolin)
Antworten |

Snofru

Anmeldungsdatum:
11. August 2012

Beiträge: 9

Guten Abend!

Ist es möglich, ein Backup laufen zu lassen und gleichzeitig am PC weiterzuarbeiten?

Ich möchte täglich mein Home-Verzeichnis sichern, und zwar so, dass ich das Backup von Hand starte, während der Datensicherung selbst aber an meinen Dokumenten weiterarbeiten kann, also kein Backup kurz vorm Herunterfahren des Rechners oder so.

Dabei geht es mir sogar weniger um eine Sicherung meiner eigentlichen, meist ziemlich umfangreichen Projektdokumente; die sollen zwar auch gebackupt werden, für die verwende ich aber noch zusätzlich eine selbstgestrickte Art von Versionsverwaltung.

Bei dem täglichen Backup, von dem ich jetzt und hier spreche, geht es mir vor allem um zwei Gruppen von Daten:

  1. Dateien aus dem Internet, die ich herunterlade, weil ich gerne offline arbeite, in der Hauptsache also PDF-Dateien und HTML-Dateien inkl. Ordner.

  2. und ganz wichtig: die Konfigurationseinstellungen aus den diversen versteckten Ordnern in meinem Home-Verzeichnis (natürlich ohne .gvfs).

Mein Bestand an Gruppe-1-Daten ändert sich praktisch täglich durch neue Downloads und Löschungen (echte Löschungen, normalerweise nutze ich den Papierkorb nicht), ja, und die Daten aus Gruppe 2 ändern sich ja sowieso öfter mal.

Das alles möchte ich also mit einem täglichen Backup sichern, das ich selbst, also ohne Cronjob oder so, anstoße und bei dem ich weiterarbeiten kann.

Mir ist klar, dass so etwas natürlich mit Online-Lösungen wie Ubuntu One, Dropbox, Spideroak usw. geht. Eine der Genannten habe ich auch schon mal länger benutzt und war auch zufrieden damit. Im Moment möchte ich aber aus verschiedenen Gründen reine Offline-Backups anlegen. Für meine Offline-Backups nutze ich schon länger Back In Time, mit dem ich auch gerne weitermachen würde. Allerdings liebäugle ich, ehrlich gesagt, auch ein bisschen mit storeBackup oder rsync selber - auf jeden Fall etwas, bei dem ich zur Rücksicherung nach einem Totalcrash nicht zwingend auf zusätzliche Software angewiesen bin. Deswegen ist deja-dup auch eher nichts für mich.

Meine Sorge gilt jetzt vor allem den Daten aus Gruppe 2, also den Konfigurationseinstellungen. Bei mir auf dem Rechner läuft praktisch immer Kontact, weil ich mit dessen "Unterprogrammen" meine Arbeit organisiere. Und während ich am Computer sitze, ändere ich auch immer wieder was an diesen Programmen: Ich füge z.B. neue Termine und Aufgaben hinzu oder ändere etwas an bestehenden Aufgaben, z.B. wieviel Prozent einer Aufgabe "Schon erledigt" ist.

Wenn ich jetzt ein Backup laufen lasse und gleichzeitig z.B. eine neue Aufgabe in Kontact/Korganizer erstelle: Kann es dann im Backup nicht zu Inkonsistenzen kommen, so dass die gesicherten Daten korrumpiert und später im Falle eines Falles nicht mehr wiederherstellbar wären?

Und noch eine Frage: Mein Lubuntu läuft auf Ext4, auch meine externe Speicherplatte ist mit diesem Dateisystem formatiert. Brächte es für mein Vorhaben irgendwelche Vorteile, wenn ich stattdessen Btrfs verwenden würde?

Kurz noch zu mir und meinen Vorkenntnissen:

Seit 2007/2008 verwende ich Linux, meistens Debian-basierte Distributionen, und darunter natürlich auch immer wieder Ubuntu. Sicher bin ich alles andere als ein Guru, aber im Laufe der Zeit habe ich mir doch ein bisschen was angeeignet, viel hier in diesem richtig tollen Wiki gestöbert und auch in das ein oder andere Buch hineingeschaut. Auch die Konsole ist mir nicht mehr so fremd.

In diesem Forum bin ich jetzt allerdings neu, und deshalb bitte ich darum, bei eventuellen Fehlern von mir nachsichtig zu sein. Bin ja auch hier noch am Lernen! ^^

redknight Team-Icon

Moderator & Supporter
Avatar von redknight

Anmeldungsdatum:
30. Oktober 2008

Beiträge: 21863

Hallo. Ich halte rsync für sehr geeignet für dich (mit den richtigen Schaltern, aber wie sich dein Post liest muss ich dir das nicht extra erklären 😉 ). Ich hatte grade keine Chance, deine Befürchtung

Wenn ich jetzt ein Backup laufen lasse und gleichzeitig z.B. eine neue Aufgabe in Kontact/Korganizer erstelle: Kann es dann im Backup nicht zu Inkonsistenzen kommen, so dass die gesicherten Daten korrumpiert und später im Falle eines Falles nicht mehr wiederherstellbar wären?

zu überprüfen, erwarte allerdings folgendes Verhalten:

  1. Datei wird synchronisiert

  2. Du speicherst

  3. synchronisierung endet

  4. Quelle und Ziel werden überprüft

  5. Im Fall einer Änderung wird erneut synchronisiert

Zumindest im Ablauf mit Prüfsummen (-c) sollte das so passieren, ob es ohne Prüfsummen bei gleichbleibender Dateigröße so ist und nur der timestamp als Anzeige ausreicht, wäre zu testen

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Hallo Snofru,

ich versuche mal, Deine Fragen zu beantworten - ich hoffe, ich verstehe sie richtig 😉 .

Snofru schrieb:

Ist es möglich, ein Backup laufen zu lassen und gleichzeitig am PC weiterzuarbeiten?

Wenn ich jetzt ein Backup laufen lasse und gleichzeitig z.B. eine neue Aufgabe in Kontact/Korganizer erstelle: Kann es dann im Backup nicht zu Inkonsistenzen kommen, so dass die gesicherten Daten korrumpiert und später im Falle eines Falles nicht mehr wiederherstellbar wären?

Die Frage kann Dir definitiv nur der Ersteller des betreffenden Programms beantworten. Aber man kann da ganz gut Annahmen treffen bzw. von Erfahrungswerten ausgehen. Die erste Frage ist: Kommt ein Programm (oder Programme im Fall einer Desktop Umgebung) damit klar, wenn z.B. der Strom ausfällt? Wenn das idR. nicht der Fall ist, kannst Du kein Backup zur Laufzeit machen, da das idealerweise (aus Sicht eines zurückgespielten Backups) dasselbe ist. Mir sind keine Desktop Umgebungen bekannt, die das normalerweise nicht hinbekommen. Das dürfte also erst mal ganz gut aussehen.

Ich schrieb aber bewusst "idealerweise". Was heißt eigentlich Inkonsistent? Im übelsten Fall (von dem ich aus oben genannten Grund ("Strom weg") nicht ausgehe,) heißt dass, dass die Daten zu einem Programm nicht recovery-fähig sind, solange es noch läuft. Inkonsistenz kann aber auch dadurch entstehen, dass mehrere Änderungen zusammenhängend (atomar) weggeschrieben werden müssen und dieses noch nicht vollständig erfolgt ist. Stell Dir vor, ein Programm muss Änderungen z.B. in zwei Dateien wegschreiben und diese Änderungen müssen zusammenpassen, ansonsten kann das Programm damit nicht wieder hochfahren. Wenn Du jetzt eine Sicherung machst, die genau nur eine der beiden angenommenen Änderung umfasst, dann ist Deine Sicherung nicht brauchbar. Um so länger die Sicherung dauert, um so wahrscheinlich ist dieser Zustand der Inkonsistenz.

In einem Programm Änderungen atomar (also eine Aktion, wie ein Ein- / Aus-Schalter) zu machen, ist nicht immer ganz trivial, sollte aber in einer Desktop Umgebung Pflicht sein (also z.B. neue Datei fertig schreiben und dann umbenennen). Ich sichere übrigens z.B. Kmail mit storeBackup genau so und hatte bisher noch keine Probleme mit dem Zurückspielen (was allerdings auch nicht oft vorkam).

Um die Wahrscheinlichkeit derartiger möglicher Inkonsistenzen zu vermeiden, sollte das Backup also auf jeden Fall möglichst schnell durchlaufen. Am Schnellsten ist das, wenn Du mittels LVM einen Snapshot (atomar) erstellst und den dann sicherst.

Wenn Du die Sicherung ohne LVM Snapshot machst (so wie ich), solltest Du zur Zeit der Sicherung die Programme nicht verwenden, damit sie möglichst wenig / keine Änderungen an den Konfigurationsdateien vornehmen.

.

Die oben diskutierte Frage hat mit rsync oder storeBackup erst mal nichts zu tun, es gibt aber klare Unterschiede. Sieh Dir mal das Folgende an:

user@rechner:~$ mkdir /tmp/a
user@rechner:~$ cd /tmp/a
user@rechner:/tmp/a$ echo hallo > f
user@rechner:/tmp/a$ cp -a f f-copy
user@rechner:/tmp/a$ /opt/storeBackup/bin/llt f*
access               modification         creation             [Time]
2012.08.13 07:37:08  2012.08.13 07:36:59  2012.08.13 07:36:59  f
2012.08.13 07:36:59  2012.08.13 07:36:59  2012.08.13 07:37:08  f-copy
user@rechner:/tmp/a$ echo xxx >> f-copy 
user@rechner:/tmp/a$ /opt/storeBackup/bin/llt f*
access               modification         creation             [Time]
2012.08.13 07:37:08  2012.08.13 07:36:59  2012.08.13 07:36:59  f
2012.08.13 07:36:59  2012.08.13 07:37:47  2012.08.13 07:37:47  f-copy
user@rechner:/tmp/a$ chmod 666 f-copy 
user@rechner:/tmp/a$ /opt/storeBackup/bin/llt f*
access               modification         creation             [Time]
2012.08.13 07:37:08  2012.08.13 07:36:59  2012.08.13 07:36:59  f
2012.08.13 07:36:59  2012.08.13 07:37:47  2012.08.13 07:49:41  f-copy

Das Tool 'llt' von storeBackup zeigt Dir alle Timestamps einer Datei an. Die Zeit des letzten Zugriffs (access time) ist hier uninteressant (und in der fstab abgeklemmt).

Ich habe die Kopie einer Datei angelegt (cp -a). Wie Du siehst, ändert sich je nach Aktion mal die ctime und mal die mtime. Eine Datei zu kopieren (erzeugen) und dabei ctime und mtime zu erhalten (vorzugeben) ist soweit ich weiß nicht möglich (außer direkt in das Filesystem einzugreifen). Je nach Art der Änderung werden ctime und mtime verändert. StoreBackup berücksichtigt ctime, mtime und die Dateigröße mittels seiner intern gespeicherten Metadaten, hat damit also keine Probleme.

Die man page von rsync sagt (ganz am Anfang):

Rsync finds files that need to be transferred using a "quick check" algorithm (by default) that looks for files that have changed in size or in last-modified time.

Wenn das so stimmt (und es kann ja auch nicht anders sein, siehe das Ergebnis von 'cp -a'), könnte rsync bei Änderungen, die nur die ctime ändern Probleme haben (ich habe da jetzt nicht weiter nachgeforscht, habe aber mal in irgendeinem Forum etwas drüber gelesen). Wahrscheinlich schlägt redknight deswegen vor, die Prüfsummen durchzunudeln (?).

.

Snofru schrieb:

Ich möchte täglich mein Home-Verzeichnis sichern, und zwar so, dass ich das Backup von Hand starte, während der Datensicherung selbst aber an meinen Dokumenten weiterarbeiten kann, also kein Backup kurz vorm Herunterfahren des Rechners oder so.

Hier noch eine Idee, wie ich das früher mal (als ich intensiv Texte geschrieben habe) gemacht habe. Ich wollte auch Zwischenstände über Tage sichern (wenn eine Idee zu Ende formuliert war), und das sollte natürlich möglichst schnell gehen. Hierbei sollten nur die direkt bearbeiteten Dateien gesichert werden (also eine Teilmenge).

Ich habe dann zwei Backups gemacht (ein kleines "zwischendurch", Dauer ein paar Sekunden) und ein großes Abends (Dauer bis zu ein paar Minuten), die dann untereinander ver-hard-linked waren; also so ähnlich wie hier beschrieben: http://www.nongnu.org/storebackup/de/node68.html Das dann noch mit der Option lateLinks: http://www.nongnu.org/storebackup/de/node71.html

StoreBackup hat übrigens auch eine Löschstrategie für Backups, die mehrfach über einen Tag angelegt wurden (keepDuplicate).

.

Ein anderes Szenario wäre, wenn Du die Sicherungen über Tage von der internen Platte auf dieselbe Platte machst (sofern nicht anderes vorhanden) - also nur als Sicherung der Veränderung; nicht als Sicherung vor dem Ausfall der Platte und abends die Daten auf die externe Platte replizierst. Das würde dem "Mal schnell ein Backup zwischendurch" entgegenkommen. Falls Du dann etwas versaubeutelt hast, kannst Du auf die Backups direkt zugreifen (z.B. von vor 1 Stunde) und hast trotzdem die Sicherheit der externen Platte. Das könnte man auch noch mit "isolated Backups" durchführen oder kombinieren, dann würde vermutlich ein Memory Stick für die Sicherungen zwischendurch reichen. Aber ich spekuliere hier nur ☺

.

Snofru schrieb:

Und noch eine Frage: Mein Lubuntu läuft auf Ext4, auch meine externe Speicherplatte ist mit diesem Dateisystem formatiert. Brächte es für mein Vorhaben irgendwelche Vorteile, wenn ich stattdessen Btrfs verwenden würde?

Ist für ein Backup ein gewisses Risiko. Btrfs dürfte sicher noch einiges mehr (Achtung, Untertreibung!) an Fehler haben also z.B. ext4 oder reiserfs. Btrfs ist unter bestimmten Bedingungen schon schneller als ext4 (ich hatte da mal Benchmarks gemacht), kann aber beispielsweise nur so 300-600 Hardlinks pro Datei (je nach Länge der Bezeichnungen). Letzteres sollte aber kein Problem sein (für rsync sowieso nicht, da es keine Doubletten findet und storeBackup kann mit zu wenig verfügbaren Hardlinks umgehen).

Also ich habe bisher von btrfs für Backups die Finger gelassen und verwende es nur zum Testen.

.

Falls Dich auch das hier vor einige Zeit hochgekommene Thema des "bit rot" (also "umgekippter Bits) http://forum.ubuntuusers.de/topic/abgebrochenes-backup-fortsetzen/3/?highlight=Nachdem+Du+im+Backup+herummanipuliert+hast%2C+machst+Du+folgendes%3A#post-4621562 interessiert, gibt es da noch eine Änderung (erster Kommentar): http://www.linux-community.de/Internal/Nachrichten/Neue-Version-3.3-bringt-Replikation-und-schaetzt-die-Komprimierbarkeit-ab (oder auch in der online Doku http://www.nongnu.org/storebackup/de/node32.html).

.

Ich hoffe, mein Geschreibsel passt einigermaßen,

ixo

Snofru

(Themenstarter)

Anmeldungsdatum:
11. August 2012

Beiträge: 9

Erst einmal: Vielen herzlichen Dank für die ausführlichen Antworten auf meine Fragen!

@redknight:

Ja, die Prüfsummen-Option würde ich auf jeden Fall verwenden.

@ixo:

Inkonsistenz kann aber auch dadurch entstehen, dass mehrere Änderungen zusammenhängend (atomar) weggeschrieben werden müssen und dieses noch nicht vollständig erfolgt ist. Stell Dir vor, ein Programm muss Änderungen z.B. in zwei Dateien wegschreiben und diese Änderungen müssen zusammenpassen, ansonsten kann das Programm damit nicht wieder hochfahren. Wenn Du jetzt eine Sicherung machst, die genau nur eine der beiden angenommenen Änderung umfasst, dann ist Deine Sicherung nicht brauchbar.

Ja, genau diese Art der Inkonsistenz meinte ich, hätte das aber nie so schön erklären können. Also, von daher:

ich versuche mal, Deine Fragen zu beantworten - ich hoffe, ich verstehe sie richtig

passt deine Antwort schon sehr. Ich danke dir auch herzlich für die vielen Hintergrundinformationen und vor allem auch für die sehr informativen Links. Für jemanden wie mich ist der Schluck aus der Pulle jetzt aber auch ziemlich groß, und ich frage mich, was ich mit den vielen Informationen jetzt anfange bzw. was der nächste Schritt ist für mich. Ich hangel mich jetzt einfach mal etwas durch:

[...] wenn Du die Sicherungen über Tage von der internen Platte auf dieselbe Platte machst (sofern nicht anderes vorhanden) - also nur als Sicherung der Veränderung; nicht als Sicherung vor dem Ausfall der Platte und abends die Daten auf die externe Platte replizierst. Das würde dem "Mal schnell ein Backup zwischendurch" entgegenkommen.

So etwas Ähnliches hatte ich mir auch schon überlegt, und vielleicht werde ich das auch so machen. An der Frage, ob es möglich sei, ein Backup laufen zu lassen und gleichzeitig am PC weiterzuarbeiten, bin ich allerdings auch ganz grundsätzlich interessiert, zumal ich darüber im Internet nichts wirklich für mich Brauchbares gefunden habe. Naja, vielleicht die falschen Keywords.^^

Etwas verwirrt bin ich, ehrlich gesagt, von folgenden Aussagen:

In einem Programm Änderungen atomar (also eine Aktion, wie ein Ein- / Aus-Schalter) zu machen, ist nicht immer ganz trivial, sollte aber in einer Desktop Umgebung Pflicht sein (also z.B. neue Datei fertig schreiben und dann umbenennen). Ich sichere übrigens z.B. Kmail mit storeBackup genau so und hatte bisher noch keine Probleme mit dem Zurückspielen (was allerdings auch nicht oft vorkam).

Das klang für mich ziemlich hoffnungsvoll. Aber:

Wenn Du die Sicherung ohne LVM Snapshot machst (so wie ich), solltest Du zur Zeit der Sicherung die Programme nicht verwenden, damit sie möglichst wenig / keine Änderungen an den Konfigurationsdateien vornehmen.

LVM verwende ich derzeit nicht. Ich hatte das schon mal bei Testinstallationen und werde es möglicherweise auch in Zukunft bei Neuinstallationen wieder einrichten. Mein jetziges laufendes System möchte ich aber eigentlich nicht neu aufsetzen. Falls das allerdings der einzige Weg sein sollte, mein Ziel zu erreichen, überlege ich mir das noch mal.

Verstehe ich dich, ixo, also richtig, dass ich ohne LVM nicht im laufenden Betrieb sichern sollte? Dann stellt sich mir aber sofort die Frage: Wie machen das denn dann die genannten (und andere) Online-Dienste? Die synchronisieren doch auch - ich nehme jetzt mal dieses Modewort - in "Echtzeit" (jedenfalls kann man das ja so einstellen, und ich selbst hatte das auch so), und da habe ich noch nie gehört, dass jemand da mit Inkonsistenzen zu kämpfen hatte? Oder liegt das etwa nur daran, dass alle Leute diese Dienste ausschließlich zum Synchronisieren verwenden bzw. um von überall her auf ihre Daten zugreifen zu können - und gar nicht für echte Backups? Fragen über Fragen. ^^

Und schon kommt die nächste Frage: Wenn ich das richtig sehe, besteht Einigkeit darin, dass ich für mein Vorhaben - sollte es denn überhaupt was damit werden - auf jeden Fall eine Prüfsummenfunktion brauche. Sowohl rsync als auch storeBackup verfügen über Prüfsummenfunktionen. Du, ixo, scheinst storeBackup allerdings in dieser Hinsicht für leistungsfähiger/zuverlässiger zu halten. So habe ich dich jedenfalls verstanden, korrigier mich, wenn das nicht stimmt, ich will niemandem etwas unterstellen. Ich konnte bisher nicht wirklich herausfinden, inwiefern sich diese beiden Programme hinsichtlich genau dieser Funktion unterscheiden. Vielleicht kann mir da jemand ja noch einen kleinen Anstoß geben.

Ich habe dann zwei Backups gemacht (ein kleines "zwischendurch", Dauer ein paar Sekunden) und ein großes Abends (Dauer bis zu ein paar Minuten), die dann untereinander ver-hard-linked waren [...]

Das hört sich auch sehr interessant an, und ich sehe mir das auf jeden Fall noch einmal genauer an. Allerdings kann das ein paar Tage dauern.

Btrfs war übrigens nur so eine Idee, weil man da ja immer so Wunderdinge über dessen Journaling- und Snapshot-Fähigkeiten hört. Ich habe mich damit aber zugegebenermaßen nicht wirklich auseinandergesetzt - muss also wirklich nicht sein.

Vielen Dank noch einmal an euch beiden!

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Hallo Snofru,

ich antworte mal in einer anderen Reihenfolge als Deine Fragen sind.

.

Rsync und storeBackup sehen vielleicht auf dem ersten Blick ähnlich aus, arbeiten aber sehr unterschiedlichen; auch wenn beide Hardlinks verwenden. Ich beschränke mich mal auf Deine Frage mit den Prüfsummen - ansonsten solltest Du mal die Dokus lesen. Rsync ist in erster Linie ein Synchronisations-; und storeBackup ein Backup-Tool.

Die Basisfunktion von rsync ist, Dateien in ein anderes Verzeichnis zu kopieren (eigentlich synchronisieren) und mit einer besonderen Option ggf. Hardlinks zu setzen, wenn die Datei in einem anderen Directory (= vorheriges Backup) schon mit gleicher Größe und Modify Time (mtime) vorhanden ist. Es gibt aber Operationen, die die Creation Time (ctime) verändern. Daher kann es passieren, dass rsync eventuell Veränderungen nicht mitbekommt (das passiert nicht, wenn Du einfach nur normale Dateien als Ganzes abspeicherst). Mehr als mtime kann rsync aber nicht vergleichen, weil es nicht möglich ist (soweit ich weiß), eine Datei mit vorgegebener (also "falscher", nicht aktueller) mtime und ctime (im Backup-Verzeichnis) anzulegen. Ich hatte das im vorherigen Post mit "cp -a" (A = Archive, alles beibehalten) gezeigt.

Um also derartige Änderungen, die die mtime nicht verändern mitzubekommen, (und da muss man damit rechnen, dass Applikationen der GUI so etwas machen) schlägt redknight vor (jedenfalls habe ich ihn so verstanden) einen Prüfsummenalgorithmus (der ursprünglich für die effiziente Datenübertragung über langsame Leitungen gedacht war; dafür eine sehr pfiffige Sache, habe ich schon häufig verwendet) für alle (?) Dateien anzuwerfen. Dieser berechnet dann Prüfsummen sowohl vom älteren Backup als auch im Quellverzeichnis. Hiermit werden Änderungen dann auf jeden Fall erkannt. Rsync verwendet nur die Dateien selbst, keine zusätzlichen Informationen (Meta Daten).

.

Wie schon erwähnt, arbeitet storeBackup völlig anders. Ich gehe jetzt der Einfachheit halber davon aus, dass schon mindestens ein Backup existiert. In dieses Backup hat storeBackup neben den Dateien, die eventuell komprimiert wurden, auch die ctime, mtime, md5 Summe und noch ein paar Informationen zu jeder Datei in einem einfachen ASCII File gespeichert.

Wenn jetzt ein weiteres Backup gespeichert wird, passiert (mehr oder weniger) das Folgende (steht übrigens alles in der Doku):

- es wird über mtime, ctime und Größe in diesem ASCII File nachgesehen (!), ob diese Datei vorher schon im Backup an gleicher Stelle war. (Es also völlig egal, ob z.B. die Zeiten der realen Datei im Backup noch unverändert sind und es kann die ctime verglichen werden.) Wenn die Datei so schon vorher da war, wird die md5 Summe aus dem Backup übernommen und die ein passender Hard Link erzeugt (+ Rechte gesetzt etc.)

- wenn die Datei noch nicht im Backup vorhanden war, wird die md5 Summe berechnet und nachgesehen, ob es eine Datei mit derselben md5 Summe und Größe im Backup gibt. Wenn ja, wird auf diese verlinkt.

- wenn es die Datei noch nicht gab, wird sie kopiert / komprimiert im neuen Backup Verzeichnis angelegt.

(Nur der Vollständigkeit halber: Du kannst mit storeBackup auch Dateien in Stückchen "hacken" und nur die Unterschiede abspeichern (und mit 'cat' wieder zusammensetzen), so etwas ähnliches gibt es auch mir Tools, die auf dem rsync Prüfsummen-Mechanismus aufsetzen, aber das sind dann andere Tools als rsync selbst, die auch Deine Anforderung an ein simples Format nicht erfüllen.)

.

Die Prüfsummen bei rsync werden also temporär verwendet, bei storeBackup werden sie abgespeichert und weiterverwendet. (Sie sind auch völlig anders aufgebaut da sie zu einem anderen Zweck dienen, aber das kannst Du selbst nachlesen, bringt aber hier nichts.)

.

Die Prüfsummen werden also völlig unterschiedlich verwendet; bei storeBackup dienen sie zur Deduplikation, d.h. doppelte oder umbenannte Dateien (oder welche in einem anderen / geänderten Pfad) werden erkannt.

.

Ich hoffe, es ist halbwegs klar geworden, wo die Unterschiede bei direkten Erstellen des Backups liegen. Die rsync-Variante mit "kopieren und unveränderte Dateien verlinken" hat natürlich andere Ansprüche an den Plattenplatz als storeBackup mit "komprimieren (wenn's lohnt) und inhaltlich identische Dateien erkennen)" .

.

Dann hatte ich noch die Möglichkeiten der Replikation und was hier vielleicht interessanter ist, die des offline Backups (isolated Mode) angesprochen, aber da solltest Du Dir wirklich die Doku durchlesen, da ist das alles (in Deutsch) beschrieben. Das automatische Löschen alter Backups nach flexiblen Regeln geht übrigens auch.

.

Was ich im vorigen Posting zu "Prüfsummen" angesprochen habe, ist (aus der Doku von storeBackup kopiert, ich bin zu faul, dass in eigene Worte zu fassen):

storeBackupCheckBackup.pl

Wenn Du Daten von einer Platte auf eine andere kopierst, können unbemerkt Bit Fehler (z.B. im Hauptspeicher, in der CPU, in Verbindungsleitungen) passieren, die dazu führen, dass fehlerhafte Daten in Deinem Backup gespeichert werden. Dieses kann insbesondere über lange Zeiträume auf der Backup Platte passieren. Da storeBackup neben den eigentlichen Daten auch Prüfsummen speichert, ist es möglich, die gespeicherten Daten mit diesen Prüfsummen - die aus den Daten im zu sichernden Verzeichnis berechnet wurden, zu vergleichen - um so die Wahrscheinlichkeit zu erhöhen, dass die Daten nicht korrupt sind.16 Aber keine Panik, so etwas passiert nicht ständig.

storeBackupCheckSource.pl

Wenn Du Daten von einer Platte auf eine andere kopierst, können unbemerkt Bit Fehler (z.B. im Hauptspeicher, in der CPU, in Verbindungsleitungen) passieren, die dazu führen, dass fehlerhafte Daten in Deinem Backup gespeichert werden. Dieses kann insbesondere über lange Zeiträume auf der Backup Platte passieren. Da storeBackup neben den eigentlichen Daten auch Prüfsummen speichert, ist es möglich, die gespeicherten Daten mit diesen Prüfsummen - die aus den Daten im zu sichernden Verzeichnis berechnet wurden, zu vergleichen - um so die Wahrscheinlichkeit zu erhöhen, dass die Daten nicht korrupt sind. Das ist der Grund, warum es storeBackupCheckBackup.pl gibt.

Aber ein solcher Bit-Fehler kann auch in Deinem Quellverzeichnis (als dem, das gesichert wurde) nach einem längeren Zeitraum passieren. Mit diesem Programm kannst Du Dateien, die sich seit dem Backup im Quellverzeichnis nicht geändert haben mit Hilfe der Prüfsummen aus dem Backup überprüfen.

Diese Möglichkeit hast Du bei Backup-Verfahren, die keine aus dem Quellverzeichnis errechneten Prüfsummen im Backup speichern, logischerweise grundsätzlich nicht. Ob und wenn ja welche anderen freien Tools das noch unterstützen - keine Ahnung.

.

Snofru schrieb:

Verstehe ich dich, ixo, also richtig, dass ich ohne LVM nicht im laufenden Betrieb sichern sollte? Dann stellt sich mir aber sofort die Frage: Wie machen das denn dann die genannten (und andere) Online-Dienste? Die synchronisieren doch auch - ich nehme jetzt mal dieses Modewort - in "Echtzeit" (jedenfalls kann man das ja so einstellen, und ich selbst hatte das auch so), und da habe ich noch nie gehört, dass jemand da mit Inkonsistenzen zu kämpfen hatte? Oder liegt das etwa nur daran, dass alle Leute diese Dienste ausschließlich zum Synchronisieren verwenden bzw. um von überall her auf ihre Daten zugreifen zu können - und gar nicht für echte Backups? Fragen über Fragen. ^^

Also, was andere mit Online-Diensten so machen, weiß ich nicht. Wenn man natürlich nur einfache Dateien sichert, ist das kein Problem, solange man nicht zufällig eine gerade in der Sicherung befindliche "halbe" Datei erwischt.

Grundsätzlich kannst Du unter Linux sichern, wie Du willst. Die Frage ist nur, ob das Ergebnis konsistent ist. Gehen wir mal ein paar Beispiele für die Sicherung des Home-Verzeichnisses ohne Snapshot (LVM) durch.

1. Du bootest von CD und mountest Die zu sichernde Platte. Hier wird's keine Inkonsistenzen geben, da im Homeverzeichnis keine aktiven Programme am werkeln sind.

2. Du bootest Deine Maschine, loggst Dich aber (über die Konsole) als anderer User (root) ein und machst Dein Backup; Ergebnis wie oben, keine Probleme.

3. Du loggst Dich in die Maschine unter Deinem User-Account ein, aber auf der Console, also ohne GUI. Ergebnis wie oben.

4. Du loggst Dich mit GUI unter Deinem Namen ein, machst ein xterm (o.ä.) auf, machst nichts mit den anderen Programmen und startest das Backup. Mit sehr großer Wahrscheinlichkeit wird alles gut gehen. Wenn Du allerdings Pech hast, fragt kmail z.B. neue Mails ab und schafft es genau in dem Moment, wenn Du die entsprechenden Dateien sicherst, einen inkonsistenten Stand auf der Platte zu haben (sofern kmail nicht derartige Zustände grundsätzlich vermeidet, das weiß ich schlicht und ergreifend nicht).

Es spricht natürlich nichts dagegen, mit der GUI ein "kleines" Backup zwischendurch für die Dateien, die Du bearbeitest (also nicht-GUI-Daten) zu sichern. Da gibt's kein Risiko, da Du in der kurzen Phase natürlich nichts zeitgleich abspeichern wirst.

Das sollten so die grundsätzlichen Möglichkeiten sein.

Falls Du Deine Backups mit storeBackup machen willst: Mach einfach ein paar Backups, probier es auch. Es handelt sich um ein Tool, das man einfach verwenden kann, das aber auch komplexe Möglichkeiten bietet. Es hängt alles ein bisschen von Deinen Anforderungen (und wie paranoid Du bist) ab. ☺

Ansonsten musst Du natürlich selbst entscheiden, was für Dich am Besten passt.

Ich hoffe, das erklärt's einigermaßen.

Grüße, ixo

Snofru

(Themenstarter)

Anmeldungsdatum:
11. August 2012

Beiträge: 9

Vielen Dank für deine ausführlichen Erklärungen, ixo, ich weiß das wirklich sehr zu schätzen!

Vorweg noch eins: Die Dokumentation von storeBackup habe ich mir mittlerweile natürlich auch schon angeschaut; wie ich in meinem letzten Beitrag aber schon angedeutet habe, werde ich erst in einigen Tagen dazu kommen, sie wirklich mal durchzuarbeiten. Daher erklären sich wohl einige meiner Fragen und ein Teil meines Nichtwissens; ich bitte da um Entschuldigung und werde meine Defizite aufarbeiten.

Danke jedenfalls schon einmal für die Erklärung der unterschiedlichen Prüfsummen-Funktionen bei rsync und storeBackup. Nach dem, was du, ixo, da ausgeführt, hast, kommt für mich ja in der Tat nur storeBackup in Frage.

Auf diese Prüfsummen-Funktion war ich ja so angesprungen, weil ich hoffte, damit quasi eine Arznei zu finden gegen mögliche Inkonsistenzen bei einem Echtzeit-Backup. Und so eine Arznei wäre das ja auch, aber wie das mit sowas eben so ist: Das ist ja doch nachträgliches Rumdoktorn an Problemen; das Grundproblem bleibt.

Also dann:

4. Du loggst Dich mit GUI unter Deinem Namen ein, machst ein xterm (o.ä.) auf, machst nichts mit den anderen Programmen und startest das Backup. Mit sehr großer Wahrscheinlichkeit wird alles gut gehen. Wenn Du allerdings Pech hast, fragt kmail z.B. neue Mails ab und schafft es genau in dem Moment, wenn Du die entsprechenden Dateien sicherst, einen inkonsistenten Stand auf der Platte zu haben (sofern kmail nicht derartige Zustände grundsätzlich vermeidet, das weiß ich schlicht und ergreifend nicht).

Das ist ja, noch einmal auf den Punkt gebracht, das Szenario, das mir im besten Falle (Backup geht gut)vorschwebt, im schlechtesten (es kommt zu Inkonsistenzen) aber droht. Ja, bei meinem angestrebten "Backup für zwischendurch" geht es in der Tat um GUI. - Leider komplett nicht verstanden habe ich den folgenden Satz:

Es spricht natürlich nichts dagegen, mit der GUI ein "kleines" Backup zwischendurch für die Dateien, die Du bearbeitest (also nicht-GUI-Daten) zu sichern. Da gibt's kein Risiko, da Du in der kurzen Phase natürlich nichts zeitgleich abspeichern wirst.

Vielleicht bin ich begriffsstutzig, aber was ist hier mit "nicht-GUI-Daten" gemeint? Die Konfiguratonsdateien, obwohl sie ja von GUI-Programmen wie z.B. Korganizer angelegt werden? Und warum gibt es da kein Risiko: Bei einem kleinen Backup zwischendurch besteht doch gerade die Möglichkeit, dass ich zeitgleich etwas abspeichern werde? - Sorry, ich steh da echt auf dem Schlauch. ^^

So, jetzt heißt es aber für mich erst einmal Hausaufgaben machen. Ich werde mich hier erst in einigen Tagen wieder melden, wenn ich die Dokumentation von storeBackup durchgearbeitet haben werde. Zugleich wäre ich aber auch sehr dankbar dafür, wenn vielleicht noch einmal jemand - vielleicht sogar du selbst, ixo? - zum zweiten Teil meines heutigen Beitrags Stellung nehmen könntest.

Danke und: Bis die Tage!^^

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Ja, da habe ich mich nicht klar ausgedrückt. Besser ist (hoffentlich):

Es spricht natürlich nichts dagegen, aus der GUI heraus ein "kleines" Backup zwischendurch für die Dateien, die Du bearbeitest (also nicht-KDE-GUI-Daten, wie z.B. Textdateien von OpenOffice, Programmdateien o.ä.) zu sichern. Da gibt's kein Risiko, da Du in der kurzen Phase natürlich nichts zeitgleich abspeichern wirst.

An der Konfiguration der GUI ändert sich ja wenig. Da besteht (außer vielleicht bei E-Mails) keine Notwendigkeit, sehr häufig tagsüber zu sichern. Wenn mal eine Datei kaputt ist, und Du z.B. einmal pro Stunde sicherst, hast Du - was diese Datei (im schlimmsten Fall die ganze GUI Konfiguration) angeht,den Stand von vor zwei Stunden.

Kannst Du nicht alles abends von einer console aus sichern (das Backup braucht ja zum Glück keine graphische Oberfläche) und die Daten, mit denen Du arbeitest dann z.B. stündlich?

Du müsstest mal nachsehen, wo die E-Mails von kmail gespeichert werden und die Datei mit einbeziehen. Die Sicherung so einer Datei dauert nur ein paar Sekunden (wenn sie relativ groß ist), da passiert in 99% der Fälle auch nichts (eventuell blocked files benutzen). Ich glaube, kmail kann die Dateien auch im Maildir Format ablegen (so mache ich das auch auf meinem Server per imap mit dovecot), dann wird für jede Mail eine neue Datei angelegt und das Problem existiert erst gar nicht. Allerdings weiß ich nicht, ob kmail den Index ggf. automatisch neu erstellt, wenn Du alte Dateien einfach in das Verzeichnis kopierst (weil Du z.B. eine E-Mail versehentlich gelöscht hast; mit dovecot geht das, außerdem speichert es im Standard-Maildir Format ab).

Ist denn E-Mail das Problem und phantasiere ich nur herum?

Grüße, ixo

Snofru

(Themenstarter)

Anmeldungsdatum:
11. August 2012

Beiträge: 9

Ha, bin doch noch online! ^^

Es spricht natürlich nichts dagegen, aus der GUI heraus ein "kleines" Backup zwischendurch für die Dateien, die Du bearbeitest (also nicht-KDE-GUI-Daten, wie z.B. Textdateien von OpenOffice, Programmdateien o.ä.) zu sichern. Da gibt's kein Risiko, da Du in der kurzen Phase natürlich nichts zeitgleich abspeichern wirst.

Danke für die Klarstellung, jetzt ist auch bei mir der Groschen gefallen!

Ist denn E-Mail das Problem

Ich muss um Entschuldigung bitten, denn das hätte ich schon vorher klären sollen: Nein, kmail ist nicht das Problem. Kmail nutze ich nur für einen bestimmten Mailzugang, über den nur selten und unregelmäßig Mails bei mir eintrudeln. Und ein Verlust dieser wenigen wäre im Falle eines Falles auch nicht das Ende der Welt.

Nein, von den KDE-PIM-Programmen geht es mir fast ausschließlich um Korganizer, mit dem ich meine Termine und Aufgaben verwalte. Als ich Ende 2011 meine damalige (Kubuntu 11.04-)Installation durch einen saudummen Fehler geschrottet hatte, verfügte ich zwar noch über Backups, ~/.kde/share/apps hatte ich dabei aber leider ziemlich vernachlässigt, so dass ich am Ende diejenigen Aufgaben samt Notizen, die ich aus den untergeordneten Verzeichnissen von ~/.kde/share/apps noch hatte retten können, per Hand in einen alten Zweitcomputer eingetippt habe - alles andere hätte vermutlich noch länger gedauert.

Naja, und jetzt versuche ich halt, diesen Fehler nicht noch einmal zu machen.

Kannst Du nicht alles abends von einer console aus sichern (das Backup braucht ja zum Glück keine graphische Oberfläche) und die Daten, mit denen Du arbeitest dann z.B. stündlich?

Wie gesagt, daran hatte ich natürlich auch schon gedacht, und du hattest ja gestern auch eine konkrete Vorgehensweise dafür mit storeBackup aufgezeigt. Dafür muss ich aber erst einmal die Doku dieses Programms durchackern, und damit kann ich erst morgen anfangen. Ich bleibe da aber auf jeden Fall dran!

Danke!

Snofru

(Themenstarter)

Anmeldungsdatum:
11. August 2012

Beiträge: 9

Sorry, doch noch ein Nachtrag:

Es spricht natürlich nichts dagegen, aus der GUI heraus ein "kleines" Backup zwischendurch für die Dateien, die Du bearbeitest (also nicht-KDE-GUI-Daten, wie z.B. Textdateien von OpenOffice, Programmdateien o.ä.) zu sichern. Da gibt's kein Risiko, da Du in der kurzen Phase natürlich nichts zeitgleich abspeichern wirst.

Ähm, dieses Risiko gibt es doch. Denn zum einen verwende ich sehr oft Programme mit Autosave-Funktion (Zim-Wiki, Vym); gut, die Autosave-Funktion könnte ich in den Einstellungen dieser Programme jeweils deaktivieren bzw. auf große Intervalle einstellen, aber eigentlich schätze ich gerade die Autosave-Funktion mit kurzen Intervallen sehr. Und zum anderen drücke ich noch von Studienzeiten (und schlechten Erfahrungen) her in Office-Programmen schon gewohnheitsmäßig und unterbewusst sehr häufig auf Strg + S.

Tja, das macht mein Vorhaben wohl nicht gerade einfacher...

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Mit Korganizer kenne ich mich leider nicht aus (also wie, wo der abspeichert). Ich persönlich würde - wenn mir die Termine sehr wichtig wären - darauf achten, neben dem allgemeinen Sichern der Dateien noch eine Sicherung in einem Standard Format zu exportieren (falls das geht), und das mindestens einmal pro Woche. Das hat jetzt aber nichts mehr mit dem Backup-Tool zu tun; ist eher so eine grundsätzliche Überlegung.

Wegen der Autosave Funktion würde ich mir keine zu großen Gedanken machen. Nehmen wir mal an, das direkte Wegschreiben mit der Autosave-Funktion dauert 1/10 Sekunden (das ist für einen Rechner eine ziemlich lange Zeit) und das Backup dieser einen Datei auch (das dürfte idR. sehr viel schneller gehen). Da die Autosave Funktion nur alle paar Minuten zuschlägt - und wenn sie vorher schon gesichert hat bzw. Du schon gesichert hast überhaupt nicht - ist die Wahrscheinlichkeit, dass es Dir eine Datei zerhaut ziemlich gering. (Das meinte ich mit den 99% oben). Falls es wirklich mal passiert, hast Du ja (mit sehr hoher Wahrscheinlichkeit) das Backup von eine Stunde (oder so) vorher. Übrigens gibt storeBackup.pl eine Warnung aus, wenn es bemerkt, dass sich eine Datei während des Backups verändert (passiert regelmäßig bei log Files), z.B.:

WARNING   2012.08.13 02:09:56 25760 file </backup-nosave/var/log/messages> changed during backup

(den "komischen" Pfad gibt's wegen Option "followLinks")

(Du könntest sogar mit storeBackupCheckSource.pl direkt nach der Sicherung überprüfen, ob sich dann noch eine Datei im Quellverzeichnis geändert hat, aber das wäre m.E. schon sehr paranoid.)

☺ ixo

Antworten |