staging.inyokaproject.org

Wie sichere ich 70 TB

Status: Gelöst | Ubuntu-Version: Kein Ubuntu
Antworten |

strg-x

Anmeldungsdatum:
2. April 2010

Beiträge: 25

Hallo liebe Ubuntufreunde,

Ich habe seit Februar einen neuen arbeitgeber 😉 Nun müssen wir die 70 TB von unseren internen Kunden sichern.

Also früher haben wir das mit einfachen tar-Scripten gemacht, nun sind wir aber sehr stark gewachsen.

Und haben nicht mehr nur Linux-Server sondern auch ein paar Windowskisten (War nicht meine Idee.)

Grade Spielen wir ein wenig mit Amanda, nur über unsere 10GBit Leitung schreibe ich auf meinen Backup-Server mit 100 MBs ☹, das heißt wenn wir die 70TB erreichen, brauchen wir für das wöchentliche Full-Backup, eine Ewigkeit, wir brauchen bei den 600 GB aktuell schon 9 Stunden ☹.

Und das ist ja wohl kein Zustand ☺

Wir sind grade am Überlegen, wie wir das Verbessern können, evtl. hat ja hier einer eine Idee.

Zu meinen Servern:

File-Server:

Server:    ProLiant DL380 G7
RAM:       16 GB
CPU:       Intel Xeon mit 6 mal 2.4 GHz
OS:        Windows Server 2008 R2

Der Storage ist hier über eine 10Gbit iSCSI Leitung angebunden

Storage:

Controller: HP StorageWorks P2000
z.Zt 5 vDisks (27 TB)

Backup-Server:

Server:    ProLiant DL380 G7
RAM:       48 GB
CPU:       Intel Xeon mit 6 mal 2.4 GHz
OS:        Linux 64Bit

Storage hier ist über externes SAS angebunden

2 mal HP 2600 mit 24 mal 2TB
2 mal HP 2700 mit 25 mal 1TB

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: Zähle...

Hallo,

Du solltest noch folgende Angaben machen:

Wie wollt Ihr sichern, auf Band oder auf Disk oder vielleicht auch gemischt?

Wie viele Dateien sind das ungefähr?

Wie groß ist das Backup-Zeitfenster (full / incremental)?

Was wollt ihr sichern: OS, Daten, Dateien, DBs, ... ?

Sind zu sichernde Daten mehrfach vorhanden (wg. Deduplikation)?

Könnte man die Windows-Kisten über SMB sichern (dh. nur Daten, Rechte eventuell futsch)?

Wie schnell müsst ihr wieder an die Daten rankommen (zurücksichern)?

.

Ich bin hier eher der storeBackup-Freak 😎 , ob das hier sinnvoll ist, kann ich aufgrund deiner Angaben nicht sagen. Die Antworten auf meine Fragen dürften aber auch für andere relevant sein.

Grüße, ixo

Ribiku_Sith

Avatar von Ribiku_Sith

Anmeldungsdatum:
26. April 2012

Beiträge: 137

Mal im Ernst, 70TB über das Netzwerk sichern? Klar, wenn man das einmal macht mag das ja noch funktionieren, aber wenn sich das permanent wiederholt, sollte man bei den Datengrößen eher auf ein Storage setzen um die Daten zentral zu sichern und von dort aus per Fiber Channel ein Backup anbinden. Was dort ran kommt hängt dann wieder von den Bedürfnissen bzw. der Relevanz der Daten ab.

Ich für meinen Teil, würde wenn es um wichtige Daten geht, da nicht kleckern. Stell dir mal vor, ihr müsst die Daten zurücksichern und braucht dann eine gefühlte Ewigkeit mit dem Chef im Nacken. Lieber einmal richtig machen als im Ernstfall dann ohne Backup da zu stehen.

Ribiku

Nachtrag: Hatte grad gesehen, dass ihr ja schon was im Einsatz habt. Wir hatten uns damals mehrere Firmen mit Backuplösung kommen lassen, also die üblichen Verdächtigen der IT Welt. Und haben uns dort ein System ausarbeiten lassen. Hardware und Software, wurde dann von dieser Firma angeschafft und hatten dann keine Probleme mehr damit. Hier ging es überwiegend um Videos etc.

strg-x

(Themenstarter)

Anmeldungsdatum:
2. April 2010

Beiträge: 25

@ixo:

Wie wollt Ihr sichern, auf Band oder auf Disk oder vielleicht auch gemischt?

Wir sichern auf Platte.

Wie viele Dateien sind das ungefähr?

Hmm es sind Simulationsdaten und eine Menge kleinschei* 5M +)

Wie groß ist das Backup-Zeitfenster (full / incremental)?

Inrcementel ambesten täglich, und voll am liebsten jedes Wochenende

Was wollt ihr sichern: OS, Daten, Dateien, DBs, ... ?

Dateien

Sind zu sichernde Daten mehrfach vorhanden (wg. Deduplikation)?

Nein

Könnte man die Windows-Kisten über SMB sichern (dh. nur Daten, Rechte eventuell futsch)?

Ja

Wie schnell müsst ihr wieder an die Daten rankommen (zurücksichern)?

Zurück ist eigentlich egal, es darf nur nichts fehlen.

@Ribiku Sith:

Zum Thema Sicherung via Netzwerk. Wir haben für das Backupnetz ein dediziertes 10 GBit Netzwerk, nur für iSCSI-Traffic, also schneller als FiberChannel 😉

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: Zähle...

strg-x schrieb:

@ixo:

Wie wollt Ihr sichern, auf Band oder auf Disk oder vielleicht auch gemischt?

Wir sichern auf Platte.

Ok, passt.

Wie viele Dateien sind das ungefähr?

Hmm es sind Simulationsdaten und eine Menge kleinschei* 5M +)

Wie groß ist die Änderungsrate bei Simulationsdaten; also wieviel Neues gibt's täglich? Generell sehe ich da kein Problem (siehe noch weiter unten). Sind die Simulationsdaten große Dateien, die sich nur teilweise ändern (ich vermute eher nicht!?); dann könntet ihr 'ne Menge Zeit, Platz und Bandbreite durch Deduplikation sparen? Das ist jetzt aber nicht entscheidend oder wirklich wichtig. (Falls ihr z.B. auch VMs speichern wollt, dann ist das allerdings sehr relevant, sowohl was Zeit, Platz als auch Bandbreite angeht.)

Wie groß ist das Backup-Zeitfenster (full / incremental)?

Inrcementel ambesten täglich, und voll am liebsten jedes Wochenende

Ich meinte das Zeitfenster für ein Backup, d.h. z.B. 1TB, 0,8M Dateien in 2 Stunden für inkrementelles Backup

Was wollt ihr sichern: OS, Daten, Dateien, DBs, ... ?

Dateien

Sind zu sichernde Daten mehrfach vorhanden (wg. Deduplikation)?

Nein

Als eher selten. (Es gibt garantiert Kopien von Dateien / Umbenennungen (Datei oder Directory), mv fallen da auch rein.)

Könnte man die Windows-Kisten über SMB sichern (dh. nur Daten, Rechte eventuell futsch)?

Ja

Gut, also Share mounten, fertig!? (Vor etlichen Jahren gab's da mal seltsame und unsinnige Fehlermeldungen, deshalb hat storeBackup extra eine Option ignoreReadError - keine Ahnung, ob die immer noch auftreten (wäre mir aktuell nicht bekannt).) Es geht jedenfalls so oder so.

Wie schnell müsst ihr wieder an die Daten rankommen (zurücksichern)?

Zurück ist eigentlich egal, es darf nur nichts fehlen.

Rücksicherungszeit ist mit storeBackup = Zeit für cp / scp o.ä.

@Ribiku Sith:

Zum Thema Sicherung via Netzwerk. Wir haben für das Backupnetz ein dediziertes 10 GBit Netzwerk, nur für iSCSI-Traffic, also schneller als FiberChannel 😉

Ich glaube nicht, dass ihr die schnellen Netze wirklich benötigt. Ist nur so ein Gefühl, ich weiß nicht, wieviel neue Daten anfallen.

.

Grundsätzlich:

Mit storeBackup sollte das gehen. Falls Du es ausprobieren willst, installiere die aktuelle Version (3.2.1): http://www.nongnu.org/storebackup/de/

Falls es Fehlermeldungen geben sollte (Du hast nicht gesagt, welche Distri), musst Du eventuell ein paar perl CPAN Pakete nachinstallieren, wahrscheinlich aber nicht. Frag hier einfach.

Mit storeBackup machst Du genau ein Full-Backup, und das ist das erste überhaupt. Alle anderen sind inkrementelle Backups, die immer ein volles ergeben. Genaueres steht in der Doku.

.

Ein paar Tipps:

. In der Doku zu storeBackup steht, dass es ein großes Verzeichnis (backupDir) gibt, in das alle unterschiedlichen Backup-Serien gehen. Diese werden dann automatisch untereinander verlinkt. Das kostet ein bisschen zusätzliche Zeit - falls Du das nicht willst, stell das über otherBackupSeries ab. Es gibt auch keinen Grund, warum alle Serien in demselben großen Backup Pool liegen müssen (sofern sie nicht untereinander verlinkt werden sollen) - sie können genauso (mit jeweils Vor- und Nachteilen) auf mehrere Filesysteme verteilt werden.

. Falls Deduplikation von großen Dateien interessant ist, sieh Dir die entsprechenden Kapitel und insbesondere die "rules" an, mit denen Du beliebige Regeln für die Identifizierung derselben festlegen kannst.

. Falls Du keine Deduplikation, aber Kompression (was ich Dir empfehlen würde) für andere Dateien willst, solltest Du Dir ggf. auch die "rules" ansehen. Über die kannst Du beliebig festlegen, welche Dateien komprimiert (oder nicht) werden. Falls die Simulationsdaten zu groß / viele zum Komprimieren sind (Multicore CPUs helfen hier!), kannst Du sie damit geziehlt ausnehmen. Falls Komprimieren Sinn macht, geht das übrigens auch später auf dem Backup Server (Option lateCompress).

. Falls Du Daten unterschiedliche lange aufbewahren willst, sieh Dir Beispiel 3 an (und dann unterschiedliche Aufbewahrungsregeln).

. Sieh Dir auf jeden Fall auch lateLinks an. Dann wird die Backup-Zeit ziemlich kurz.

. Fang klein an. Daten das erste Mal in storeBackup zu bekommen, ist relativ lahm (siehe auch Kapitel Performance in der Doku). Danach wird es sehr schnell. Verwende z.B. followLinks um die Backups stückchenweise zu vergrößern, damit Du statt lange warten zu müssen schnell etwas ausprobieren kannst. Falls etwas anzupassen ist, hast Du dann auch immer wieder Aufsatzpunkte und musst nicht von vorn anfangen.

. Sichere von mehreren Rechnern parallel. Das geht vor allem Dingen mit lateLinks ganz hervorragend performant.

. Verwende Konfigurationsdateien, nicht die Kommandozeilenparameter (das wird zu unübersichtlich).

. Verwende zum Löschen das extra-Tool storeBackupDel.pl, nicht storeBackup.pl selbst.

. Es wäre nicht dumm, regelmäßig Konsistenzüberprüfungen von Sicherungen zu machen (storeBackupCheckBackup.pl)

. Lies die Doku 😉 .

Falls Du's versuchst, schreib mal. Fragen gern an mich bzw. hier im Thread.

Grüße, ixo

Kriev

Avatar von Kriev

Anmeldungsdatum:
12. Dezember 2010

Beiträge: 349

mein Tipp, turnschuhnetzwerk, google mal danach 😉

Antworten |