strg-x schrieb:
@ixo:
Wie wollt Ihr sichern, auf Band oder auf Disk oder vielleicht auch gemischt?
Wir sichern auf Platte.
Ok, passt.
Wie viele Dateien sind das ungefähr?
Hmm es sind Simulationsdaten und eine Menge kleinschei* 5M +)
Wie groß ist die Änderungsrate bei Simulationsdaten; also wieviel Neues gibt's täglich? Generell sehe ich da kein Problem (siehe noch weiter unten). Sind die Simulationsdaten große Dateien, die sich nur teilweise ändern (ich vermute eher nicht!?); dann könntet ihr 'ne Menge Zeit, Platz und Bandbreite durch Deduplikation sparen? Das ist jetzt aber nicht entscheidend oder wirklich wichtig. (Falls ihr z.B. auch VMs speichern wollt, dann ist das allerdings sehr relevant, sowohl was Zeit, Platz als auch Bandbreite angeht.)
Wie groß ist das Backup-Zeitfenster (full / incremental)?
Inrcementel ambesten täglich, und voll am liebsten jedes Wochenende
Ich meinte das Zeitfenster für ein Backup, d.h. z.B. 1TB, 0,8M Dateien in 2 Stunden für inkrementelles Backup
Was wollt ihr sichern: OS, Daten, Dateien, DBs, ... ?
Dateien
Sind zu sichernde Daten mehrfach vorhanden (wg. Deduplikation)?
Nein
Als eher selten. (Es gibt garantiert Kopien von Dateien / Umbenennungen (Datei oder Directory), mv fallen da auch rein.)
Könnte man die Windows-Kisten über SMB sichern (dh. nur Daten, Rechte eventuell futsch)?
Ja
Gut, also Share mounten, fertig!? (Vor etlichen Jahren gab's da mal seltsame und unsinnige Fehlermeldungen, deshalb hat storeBackup extra eine Option ignoreReadError - keine Ahnung, ob die immer noch auftreten (wäre mir aktuell nicht bekannt).) Es geht jedenfalls so oder so.
Wie schnell müsst ihr wieder an die Daten rankommen (zurücksichern)?
Zurück ist eigentlich egal, es darf nur nichts fehlen.
Rücksicherungszeit ist mit storeBackup = Zeit für cp / scp o.ä.
@Ribiku Sith:
Zum Thema Sicherung via Netzwerk. Wir haben für das Backupnetz ein dediziertes 10 GBit Netzwerk, nur für iSCSI-Traffic, also schneller als FiberChannel 😉
Ich glaube nicht, dass ihr die schnellen Netze wirklich benötigt. Ist nur so ein Gefühl, ich weiß nicht, wieviel neue Daten anfallen.
.
Grundsätzlich:
Mit storeBackup sollte das gehen. Falls Du es ausprobieren willst, installiere die aktuelle Version (3.2.1): http://www.nongnu.org/storebackup/de/
Falls es Fehlermeldungen geben sollte (Du hast nicht gesagt, welche Distri), musst Du eventuell ein paar perl CPAN Pakete nachinstallieren, wahrscheinlich aber nicht. Frag hier einfach.
Mit storeBackup machst Du genau ein Full-Backup, und das ist das erste überhaupt. Alle anderen sind inkrementelle Backups, die immer ein volles ergeben. Genaueres steht in der Doku.
.
Ein paar Tipps:
. In der Doku zu storeBackup steht, dass es ein großes Verzeichnis (backupDir) gibt, in das alle unterschiedlichen Backup-Serien gehen. Diese werden dann automatisch untereinander verlinkt. Das kostet ein bisschen zusätzliche Zeit - falls Du das nicht willst, stell das über otherBackupSeries ab. Es gibt auch keinen Grund, warum alle Serien in demselben großen Backup Pool liegen müssen (sofern sie nicht untereinander verlinkt werden sollen) - sie können genauso (mit jeweils Vor- und Nachteilen) auf mehrere Filesysteme verteilt werden.
. Falls Deduplikation von großen Dateien interessant ist, sieh Dir die entsprechenden Kapitel und insbesondere die "rules" an, mit denen Du beliebige Regeln für die Identifizierung derselben festlegen kannst.
. Falls Du keine Deduplikation, aber Kompression (was ich Dir empfehlen würde) für andere Dateien willst, solltest Du Dir ggf. auch die "rules" ansehen. Über die kannst Du beliebig festlegen, welche Dateien komprimiert (oder nicht) werden. Falls die Simulationsdaten zu groß / viele zum Komprimieren sind (Multicore CPUs helfen hier!), kannst Du sie damit geziehlt ausnehmen. Falls Komprimieren Sinn macht, geht das übrigens auch später auf dem Backup Server (Option lateCompress).
. Falls Du Daten unterschiedliche lange aufbewahren willst, sieh Dir Beispiel 3 an (und dann unterschiedliche Aufbewahrungsregeln).
. Sieh Dir auf jeden Fall auch lateLinks an. Dann wird die Backup-Zeit ziemlich kurz.
. Fang klein an. Daten das erste Mal in storeBackup zu bekommen, ist relativ lahm (siehe auch Kapitel Performance in der Doku). Danach wird es sehr schnell. Verwende z.B. followLinks um die Backups stückchenweise zu vergrößern, damit Du statt lange warten zu müssen schnell etwas ausprobieren kannst. Falls etwas anzupassen ist, hast Du dann auch immer wieder Aufsatzpunkte und musst nicht von vorn anfangen.
. Sichere von mehreren Rechnern parallel. Das geht vor allem Dingen mit lateLinks ganz hervorragend performant.
. Verwende Konfigurationsdateien, nicht die Kommandozeilenparameter (das wird zu unübersichtlich).
. Verwende zum Löschen das extra-Tool storeBackupDel.pl, nicht storeBackup.pl selbst.
. Es wäre nicht dumm, regelmäßig Konsistenzüberprüfungen von Sicherungen zu machen (storeBackupCheckBackup.pl)
. Lies die Doku 😉
.
Falls Du's versuchst, schreib mal. Fragen gern an mich bzw. hier im Thread.
Grüße, ixo