staging.inyokaproject.org

Servus!

Nun endlich werde ich erwachsen, habe mir eine zweite Platte ausschließlich für Backups gegönnt und möchte jetzt - ganz bieder und konservativ - regelmäßige Backups machen.

Szenario:

• Desktop-Rechner, der hauptsächlich auch als solcher genutzt wird

• 2 interne SATA-Platten unterschiedlicher Hersteller zu je 1 TB

• Backup soll beim Systemstart laufen

• Backup-Platte wird nur vor dem Backup ein- danach wieder ausgehängt, ansonsten steht sie mit noauto,nouser-Option in der fstab

• inkrementelles Backup

• turnusgemäße Entfernung alter Backups

• schnelles Backup!!! (siehe Systemstart)

• lieber Kommandozeilentool mit Konfigurationsdateien oder Script

Da das Gebiet für mich völlig neu ist, bin ich unschlüssig, ob ich rsync bzw. rsnapshot oder rsync-basierte Scripte nehmen soll oder aber rdiff-backup. Zu letzterem finden sich tendenziell weniger Infos, insbesondere auf Deutsch. Es scheint neuer zu sein...

Grafische Werkzeuge habe ich mir angeguckt, ich glaube das ist nichts für mich. Ich möchte flexibel selbst entscheiden, was wann wo wie wohin. Und wenn's brennt (bevorzugter Einsatzzeitpunkt eines Backups) muss man an die gesicherten Daten auch rankommen ohne Kopfstände zu machen. Da ist ein Kommandozeilentool (je simpler, desto besser, spricht für rsync+Script) mit wenigen Konfigurationsdateien und unkomprimierten Daten sicherlich am besten. Komprimierung fällt wohl auch wegen der Boot-Zeit aus, oder? Ich habe leider absolut keine Vorstellung, ob das eine Frage von 10 Sekunden mehr oder weniger oder aber von 10 Minuten ist. Widersprechen sich Hardlinks (zum Platzsparen) und Komprimierung?

Grundsätzlich scheint mit rsync allein kein inkrementelles Backup möglich zu sein, per Script (siehe Wiki) geht das aber offensichtlich schon. Wozu braucht man dann rdiff-backup? rsnapshot scheint sich auch ganz gut in Scripten einbinden zu lassen, fsarchiver erscheint mir zu kompliziert. dirvish wäre auch noch eine Idee, hier kann komprimiert werden, aber wie sieht es da mit inkrementellen Backups aus? Wo liegen die Unterschiede, Vor- und Nachteile?

Theoretisch ist bei inkrementellen Backups ja nur eine Vollsicherung notwendig - ganz am Anfang. Und wie sieht das in der Praxis aus? Wird da nach 3 Monaten eine neue Vollsicherung gemacht, die vorhergehende Vollsicherung+Inkremente "eingefroren" (a la Debian Entwicklung 😉 )?

Ciao

Wolle

P.S.: Synchronisierung verschiedener Rechner, ssh, Client/Server und so Kram brauche ich nicht. Terminplanung a la cronjob brauche ich auch nicht, da das Backup beim Systemstart laufen soll.

+1 zu deinen Ansagen bezüglich der Kommandozeile 😉

Ledigleich zwei Anmerkungen:

• Backupmedien sollte man nach beenden des backups physikalisch vom Rechner trennen (können). Grund hierfür sind Schaden durch Hitze und Überspannung, die so auch das Backupmedium beträfen.

• rsync bietet kein inkrementelles Backup in dem Sinn, es überträgt zwar nur die Änderung, die hast aber stets nur einen Datensatz mit allen Daten in aktuellen Versionen.

Außerdem würde ich (Geschmackssache) Backups nicht beim booten machen wollen, zu viel ändert sich bei mir in den ersten paar Minuten der Nutzung.

redknight schrieb:

+1 zu deinen Ansagen bezüglich der Kommandozeile 😉

Ledigleich zwei Anmerkungen:

• Backupmedien sollte man nach beenden des backups physikalisch vom Rechner trennen (können). Grund hierfür sind Schaden durch Hitze und Überspannung, die so auch das Backupmedium beträfen.

• rsync bietet kein inkrementelles Backup in dem Sinn, es überträgt zwar nur die Änderung, die hast aber stets nur einen Datensatz mit allen Daten in aktuellen Versionen.

Außerdem würde ich (Geschmackssache) Backups nicht beim booten machen wollen, zu viel ändert sich bei mir in den ersten paar Minuten der Nutzung.

Zu deinem 2. Punkt, dass stimmt so nicht. Wenn man rsync --link-dest als Argument mitgibt, werden Hardlinks auf ein vorheriges Backup gesetzt und im neuen Backup Verzeichnis befinden sich die Hardlinks und die Dateien die seit dem verändert wurden.

Servus!

redknight schrieb:

• Backupmedien sollte man nach beenden des backups physikalisch vom Rechner trennen (können). Grund hierfür sind Schaden durch Hitze und Überspannung, die so auch das Backupmedium beträfen.

Der Einwand ist mir verständlich.

Aber was wäre denn die Lösung dieses Problems? Jeden Tag anstecken, abstecken? Ich glaube nicht, dass eine Steckverbindung das lange mitmacht - ganz egal welche das sein sollte. Für mich käme da wohl nur ESATA in Frage... leider habe ich eben gerade eine neue interne SATA-Platte für den Zweck angeschaftt. ESATA würde draußen rumstehen und verstauben. Der Anschluss ist sehr schlecht zugänglich. Steckverbindung habe ich ja bereits genannt. Das kann es irgendwie nicht sein, denn die meistens Festplatten, die ich habe sterben sehen, sind auf Grund mechanischer Einwirkung gestorben. Eine externe Platte, die noch umständlich an- und abgesteckt werden muss, bengünstigt in meinen Augen so einen Defekt erst recht...

Ganz abstruse Frage: Gibt es denn Zwischenstecker mit Schalter, die man bspw. der Stromversorgung der Platte vorschalten kann?

• rsync bietet kein inkrementelles Backup in dem Sinn, es überträgt zwar nur die Änderung, die hast aber stets nur einen Datensatz mit allen Daten in aktuellen Versionen.

http://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC

Ich verstehe das genau andersrum: Jedes Backup hat seinen Zeitstempel durch den Verzeichnisnamen, in dem es abgelegt wird. Durch die Hardlinks wird eben kein zusätzlicher Speicherplatz verbraucht, nur die neuen/veränderten Daten werden kopiert. Gelöschte Daten bekommen im nächsten Inkrement einfach keinen Hardlink mehr auf die Datei, die in der Sicherung noch vorhanden ist. Ich sichere mit diesem Skript also eigentlich immer alles, aber wirklich geschrieben werden nur (viele!!!) Hardlinks und die wenigen neuen oder veränderten Dateien. Bis hierhin verstehe ich das also schon als "inkrementell"... auf Dateiebene stimmt das dann leider nicht mehr, weil ja veränderte Dateien komplett neu gesichert werden. Bei Mailboxen kann das allerdings ganz schön reinhauen...

Wäre rdiff-backup denn dann vorzuziehen?

Außerdem würde ich (Geschmackssache) Backups nicht beim booten machen wollen, zu viel ändert sich bei mir in den ersten paar Minuten der Nutzung.

Tja... wann dann? Um ehrlich zu sein dachte ich erst ans Herunterfahren als richtigen Zeitpunkt. Da fand ich hier im Forum aber eine nette Argumentation, warum das unvorteilhaft ist:

http://forum.ubuntuusers.de/topic/automatisches-backup-beim-shutdown/

Verdammich, die Argumentation ist ja auch noch von dir! Du sagst, auslösen per cronjob bzw. udev... tja, also udev ist mir zutiefst unsympathisch, weil (für mich) sehr kompliziert. Ginge wohl auch nur beim "Einschalten/Anstecken" eines externen Gerätes zu triggern, oder?

Cronjobs haben den Nachteil, dass der Rechner nicht durchgängig an ist und auch nicht zu regelmäßigen Zeiten. Wäre Anacron hier ein Ausweg? Ist es denn sinnvoll, ein Backup bspw. 15 Minuten nach dem Hochfahren, aber *während* des laufenden Systembetriebes durchzuführen? Riskiert man da nicht ein inkonsistentes Backup (2 Dateien werden von einem Programm modifiziert, die eine wird gerade noch als alte Version gesichert, die andere schon als neue...)?

Manuelles Auslösen fällt aus. Ich selbst bin an meinem Rechner die größte Fehlerquelle...

Ciao

Wolle

Servus!

Bravestar schrieb:

Zu deinem 2. Punkt, dass stimmt so nicht. Wenn man rsync --link-dest als Argument mitgibt, werden Hardlinks auf ein vorheriges Backup gesetzt und im neuen Backup Verzeichnis befinden sich die Hardlinks und die Dateien die seit dem verändert wurden.

Naja naja naja. Das ist eine Frage des Standpunkts bzw. der Tiefe, auf die man den Begriff "inkrementelles Backup" bezieht.

Nimm mein Beispiel: sichere deine Mailbox-Dateien von Thunderbird. Das können durchaus Gigabytes sein! Mit dem von mir angeführten Script oder auch deiner Kommandozeilenoption würden die immer neu gesichert werden, wenn sie sich verändern (also ca. täglich) und zwar immer *komplett*!

Ein "echtes" inkrementelles Backup würde wohl auch von der geänderten Datei nur das Inkrement (Kilobytebereich) speichern. Das ist dann schon ein deutlicher Unterschied...

Ciao

Wolle

Wolle69 schrieb:

Ganz abstruse Frage: Gibt es denn Zwischenstecker mit Schalter, die man bspw. der Stromversorgung der Platte vorschalten kann?

Du kannst auch ein Wechselrahmen nehmen, ich habe zB. das:

http://www.raidsonic.de/de/products/mobile-racks.php?we_objectID=6250

Docking geht auch gut.

Wolle69 schrieb:

Servus!

Bravestar schrieb:

Zu deinem 2. Punkt, dass stimmt so nicht. Wenn man rsync --link-dest als Argument mitgibt, werden Hardlinks auf ein vorheriges Backup gesetzt und im neuen Backup Verzeichnis befinden sich die Hardlinks und die Dateien die seit dem verändert wurden.

Naja naja naja. Das ist eine Frage des Standpunkts bzw. der Tiefe, auf die man den Begriff "inkrementelles Backup" bezieht.

Nimm mein Beispiel: sichere deine Mailbox-Dateien von Thunderbird. Das können durchaus Gigabytes sein! Mit dem von mir angeführten Script oder auch deiner Kommandozeilenoption würden die immer neu gesichert werden, wenn sie sich verändern (also ca. täglich) und zwar immer *komplett*!

Ein "echtes" inkrementelles Backup würde wohl auch von der geänderten Datei nur das Inkrement (Kilobytebereich) speichern. Das ist dann schon ein deutlicher Unterschied...

Ciao

Wolle

Da hast du natürlich recht. Das habe ich noch gar nicht bedacht.

Servus!

AdaMin schrieb:

Wolle69 schrieb:

Ganz abstruse Frage: Gibt es denn Zwischenstecker mit Schalter, die man bspw. der Stromversorgung der Platte vorschalten kann?

Du kannst auch ein Wechselrahmen nehmen, ich habe zB. das:

http://www.raidsonic.de/de/products/mobile-racks.php?we_objectID=6250

Docking geht auch gut.

Hm, wie funktioniert das? Ziehe ich da ein SATA-Kabel irgendwie in den Rechner und kann eben nur die Stromzufuhr der Platte per Knopf an- und ausschalten? Was bedeutet das hinsichtlich der Geschwindigkeit?

Und was meinst du mit Docking? Meinst du solche Dockingstationen für Laptops? Ich hab nen Desktoprechner...

Bravestar schrieb:

Da hast du natürlich recht. Das habe ich noch gar nicht bedacht.

Ist mir auch gerade eben erst so klar geworden... 😉

Ciao

Wolle

Wolle69 schrieb: Hm, wie funktioniert das? Ziehe ich da ein SATA-Kabel irgendwie in den Rechner und kann eben nur die Stromzufuhr der Platte per Knopf an- und ausschalten? Was bedeutet das hinsichtlich der Geschwindigkeit?

Du montierst das Ding wie ein Laufwerk, via SATA. Das ganze ist eine Schublade, Mit dem Schlüssel kannst Du "starten", oder abschalten, danach die Platte herausziehen (oder drinnen lassen). Die Platten sind ummantelt, also gekühlt und geschützt, auch, wenn sie herausgezogen sind.

Geschwindigkeitsverlust gibt es da nicht.

Und was meinst du mit Docking? Meinst du solche Dockingstationen für Laptops? Ich hab nen Desktoprechner...

Es gibt Dockingstationen für Festplatten, die stecken dann aber "nackt" drin, man kann sie anschließend aber verpacken. Von Sharkoon zB., ich komme nur nicht auf ihre Seite gerade. Gibt für USB und E_SATA.

http://raidsonic.de/de/products/details.php?we_objectID=6069 da sind auch Bilder dabei, wie das aussieht.

Peace.

Also ich würde das Backup schon beim Herunterfahren machen.

redknight schrieb:

Ehrlich gesagt würde ich sowas wichtiges wie ein Backup auch nicht beim Shutdown machen wollen, grade wenn es schiefgeht hast du keine Chance mehr zu reagieren.

Ob man keine Chance hat zu reagieren, hängt eigentlich nur vom Backupscript ab und wenn man das sowieo selbst schreibt ... Man muss ja z.B. nur den Herunterfahren-Vorgang verändern, so dass nen Script ausgeführt wird, und dieses kann ja den gesamten Shutdown anhalten, bis das Backup fehlerfrei durchgeführt wurde.

Externes Backup ist auch sehr wichtig, damit man es auch räumlich trennen kann (Diebstahl, Brand, ...). Wenn du nicht Stecken willst, ist NAS ne Option. Oder du machst das externe Backup zusätzlich zum Internen aber nur einmal pro Monat, dann musst du nicht so oft Stecker benutzen.

Servus!

AdaMin schrieb:

Du montierst das Ding wie ein Laufwerk, via SATA. Das ganze ist eine Schublade, Mit dem Schlüssel kannst Du "starten", oder abschalten, danach die Platte herausziehen (oder drinnen lassen). Die Platten sind ummantelt, also gekühlt und geschützt, auch, wenn sie herausgezogen sind.

Ah!! Also in nen 5,25" Schacht fest einbauen, vorne dran Schlüssel/Schalter. Herausnehmbar aber eben auch zum drinlassen mit der Möglichkeit der Potentialtrennung (auch vom Gehäuse oder nur die Kabelverbindungen?). Das klingt sehr gut! Gefällt mir auch deutlich besser, als die Docking-Variante.

Das Ganze gefällt mir wirklich sehr gut, hat aber einen Nachteil: Man muss es jedes Mal manuell bedienen, da der Schlüssel zugleich Schalter ist und dieser eben mechanisch betätigt werden muss...

Gibt es da auch Varianten, wo man den An/Aus-Schalter auch vom Rechner aus elektronisch betätigen kann? Also z.B. in der Funktionsweise eines Relais, welches bspw. via USB angesteuert werden könnte? Potentialtrennung wäre ja dann trotzdem da, zusätzlich die Möglichkeit, das Ganze zu automatisieren. Ist jetzt nur rumgespinne, aber den Gedanken an sich finde ich schon interessant. Ich muss aber dazusagen, dass ich persönlich schon froh bin, mittlerweile so einsichtig zu sein, mir eine separate Backupplatte zu gönnen... das war nicht immer so. Ob eine solche High-Tech-Lösung nicht vielleicht doch ein wenig übertrieben ist?

stfischr schrieb:

Also ich würde das Backup schon beim Herunterfahren machen. redknight schrieb:

Ehrlich gesagt würde ich sowas wichtiges wie ein Backup auch nicht beim Shutdown machen wollen, grade wenn es schiefgeht hast du keine Chance mehr zu reagieren.

Ob man keine Chance hat zu reagieren, hängt eigentlich nur vom Backupscript ab und wenn man das sowieo selbst schreibt ... Man muss ja z.B. nur den Herunterfahren-Vorgang verändern, so dass nen Script ausgeführt wird, und dieses kann ja den gesamten Shutdown anhalten, bis das Backup fehlerfrei durchgeführt wurde.

Mir wäre es an dieser Stelle auch lieber, aber ich habe schlichtweg keine Ahnung, ob (und wie) das so geht, wie du es beschreibst.

Hehe. Dass es soweit mal kommen sollte... Ich zitiere hier mal einfach frecherweise die Argumente von redknight in dem von mir oben schon genannten Thread:

redknight schrieb:

Ok, ich zähle mal stichpunktartig auf:

• Du wirst im Fehlerfall nicht benachrichtigt bzw der Fehlerfall kann eventuell nicht geloggt werden

  • Daraus resultiert, dass Du hast keine Chance hast, den Fehlerfall automatisiert festzustellen. Du musst hoffen, dass noch geloggt wird und die Logs händisch durchsehen.

• Du kannst einige Fehler nicht im laufenden System nachstellen, also nicht komplett debuggen

  • Daraus resultiert auch, dass du nicht weit genug testen kannst

• Du kannst auf Fehler nicht sofort reagieren

Das sind in meinen Augen starke Argumente gegen das Vorgehen, denn backups sind wichtig. Darin sind wir uns ja beide einig. Im Falle eines Cronjobs zB kannst du die Laufzumgebung kontrollieren, kannst testen und dir bei Bedarf (und installiertem Postfix) im Fehlerfall eine Mail mit dem Log zuschicken lassen.

Hm. Die angeführten Probleme sind also durch geschickte Script-Gestaltung lösbar? In besagtem Thread (oder war's ein anderer?) wurde weiterhin die Parallelität der Prozesse beim Herunterfahren als Problem angeführt. Wie würde man das denn lösen? Wie und vor allem wann müsste man denn ein Backup-Script aufrufen, um genau die o.g. Probleme zu vermeiden?

Und dann sag ich mal "Ring frei!" 😉

Externes Backup ist auch sehr wichtig, damit man es auch räumlich trennen kann (Diebstahl, Brand, ...). Wenn du nicht Stecken willst, ist NAS ne Option. Oder du machst das externe Backup zusätzlich zum Internen aber nur einmal pro Monat, dann musst du nicht so oft Stecker benutzen.

Puh. Grundsätzlich ist das richtig. Aber für einen stinknormalen Desktop-Rechner vielleicht ein bisschen übertrieben? Diebstahl, Brand... grundsätzlich hast du natürlich Recht, das sehe ich vollkommen ein. Aber der Praxisbezug sollte nicht vernachlässigt werden. Wenn's danach geht, kann man auch alles mehrfach und abstreitbar verschlüsseln, Panzertüren in die Mietwohnungen einbauen lassen, Stahlgitter vor die Fenster... sicher übertreibe ich jetzt ebenfalls - aber irgendwo muss man doch einfach eine Grenze ziehen. Absolute Sicherheit (auch Datensicherheit!) gibt es meiner Meinung nach nicht... allerhöchstens eine relative Sicherheit, die man mit stets wachsendem Aufwand nur in stets fallendem Maße (unter Berücksichtigung der realen Gegebenheiten und ggf. noch Erlebenswahrscheinlichkeiten) erhöhen kann. Irgendwo muss man nen Punkt machen.

Ciao

Wolle

Wolle69 schrieb:

Gibt es da auch Varianten, wo man den An/Aus-Schalter auch vom Rechner aus elektronisch betätigen kann? Also z.B. in der Funktionsweise eines Relais, welches bspw. via USB angesteuert werden könnte? Potentialtrennung wäre ja dann trotzdem da, zusätzlich die Möglichkeit, das Ganze zu automatisieren. Ist jetzt nur rumgespinne, aber den Gedanken an sich finde ich schon interessant. Ich muss aber dazusagen, dass ich persönlich schon froh bin, mittlerweile so einsichtig zu sein, mir eine separate Backupplatte zu gönnen... das war nicht immer so. Ob eine solche High-Tech-Lösung nicht vielleicht doch ein wenig übertrieben ist?

Ich möchte nur mal darauf hinweisen, dass Schalter vielleicht gegen kleinere Stromschwankungen helfen, nicht aber gegen Blitzeinschläge.

redknight schrieb:

Das sind in meinen Augen starke Argumente gegen das Vorgehen, denn backups sind wichtig. Darin sind wir uns ja beide einig. Im Falle eines Cronjobs zB kannst du die Laufzumgebung kontrollieren, kannst testen und dir bei Bedarf (und installiertem Postfix) im Fehlerfall eine Mail mit dem Log zuschicken lassen.

Die Argumente hören sich an, als ob da nur nen einfacher rsync-Befehl beim Shutdown ausgeführt werden soll. Mit nem Script kann man da ja genauso Mails versenden, Logs schreiben, etc.

Du kannst z.B. Statt dem Ausschaltknopf nen Symbol ins Panel packen, mit dem ein Backup-Script gestartet wird. Wenn das Script erfolgreich durchgelaufen ist, fährt es den Computer herunter. Also ich sehe da erstmal kein Problem.

Aber für einen stinknormalen Desktop-Rechner vielleicht ein bisschen übertrieben?

Das musst du wissen. Wenn du der Meinung bist, bei dir gibts keine Katastrophen oder Einbrüche, dann ist das natürlich egal. Oder wenn dir die Daten nicht soooo Wichtig sind, ist das auch vollkommen egal. Das kannst nur du entscheiden. Die Versicherung zahlt zwar Geld aberDaten können sie nicht herbei zaubern.

mehrfach und abstreitbar verschlüsseln

Wenn du das brauchst klar, hilft aber nicht gegen Datenverlust.

Panzertüren in die Mietwohnungen einbauen lassen, Stahlgitter vor die Fenster

Die Schwachstelle ist meist das Schloss, gibt so Wettbewerbe, wo die verschiedensten Schlosstypen in wenigen Sekunden geknackt werden. Mit nem Backup z.B. im Kleiderschrank oder so, bist du ziemlich gut gegen Datenverlust durch Einbrecher geschützt.

Absolute Sicherheit (auch Datensicherheit!) gibt es meiner Meinung nach nicht... allerhöchstens eine relative Sicherheit, die man mit stets wachsendem Aufwand nur in stets fallendem Maße (unter Berücksichtigung der realen Gegebenheiten und ggf. noch Erlebenswahrscheinlichkeiten) erhöhen kann. Irgendwo muss man nen Punkt machen.

Genau, ich wollte es nur mal gesagt haben, wie du das bei dir Regelst ist deine Sache. 😉

Servus!

stfischr schrieb:

Ich möchte nur mal darauf hinweisen, dass Schalter vielleicht gegen kleinere Stromschwankungen helfen, nicht aber gegen Blitzeinschläge.

Das tut aber der Schlüssel auch nicht, oder? Da hilft nur eins: Platte jeden Tag reinstecken, Backup, danach rausnehmen, ab in den feuerfesten, wasserfesten, diebstahlgesicherten Tresor. Eine ziemlich hypothetische Lösung, wie ich finde...

redknight schrieb:

Du kannst z.B. Statt dem Ausschaltknopf nen Symbol ins Panel packen, mit dem ein Backup-Script gestartet wird. Wenn das Script erfolgreich durchgelaufen ist, fährt es den Computer herunter. Also ich sehe da erstmal kein Problem.

Könnte man das auch irgendwo in den systemeigenen Shutdown-Prozess integrieren?

Zum Thema Datensicherheit brauchen wir wohl nicht weiter rumzuspinnen, ich denke, allen ist klar, worum es geht. Für mich steht jetzt erstmal die Umsetzung mit meiner internen Platte im Vordergrund, weitere technische Finessen kann man ja später überdenken. Ganz konkret eben der Vergleich rsync (mit Skripten ja trotzdem nicht "echt" inkrementell) und rdiff-backup. Wenn hier eine Entscheidung gefallen ist, dann muss das Ganze noch in die jeweiligen Prozesse des Systems eingebunden werden.

Ciao

Wolle

Wolle69 schrieb:

Das tut aber der Schlüssel auch nicht, oder?

Jupp.

Da hilft nur eins

Ne gegen Blitzschlag hilft schon rausnehmen.

Du kannst z.B. Statt dem Ausschaltknopf nen Symbol ins Panel packen, mit dem ein Backup-Script gestartet wird. Wenn das Script erfolgreich durchgelaufen ist, fährt es den Computer herunter. Also ich sehe da erstmal kein Problem.

Könnte man das auch irgendwo in den systemeigenen Shutdown-Prozess integrieren?

Denke schon, hab da zwar selbst noch nix mit gemacht, aber mir ist da noch grob was im Kopf, das es dafür extra Scripte gibt, die man nur benutzen muss.