staging.inyokaproject.org

Idiotensichere Backuplösung

Status: Ungelöst | Ubuntu-Version: Ubuntu 12.04 (Precise Pangolin)
Antworten |

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Hefeweiz3n schrieb:

Roxxor schrieb:

BTW: welche Festplatten würdet ihr empfehlen? Das einzige was ich weiß, ist das 5400 Umdrehungen sicherer sind als 7200.

Ähm, warum? Nur weil sie langsamer drehen? Dann würden Serverplatten mit 15000 Umdrehungen ja laufend kaputtgehen...

Wenn man die Festplatten während sie laufen an einem Seil herumwirbelt, treten größere Corioliskräfte auf. So etwas gehört eigentlich ins Wiki.

🤓 ixo 😲

Aber im Ernst,

von den "Green" Platten, die gerne mal ausgehen, liest man immer wieder, dass sie häufig den Geist aufgeben. Kann das jemand bestätigen / entkräften?

stfischr Team-Icon

Avatar von stfischr

Anmeldungsdatum:
1. März 2007

Beiträge: 19197

Roxxor schrieb:

Sorry 😀 Ich sollte mein Halbwissen doch manchmal für mich selber behalten 😀 Ich meinte das mal wo gehört zu haben..

Mit der Googlesuche findest du zu jedem beliebigen Festplattenmodell (halbwegs Verbreitung vorausgesetzt) hunderte Berichte über Ausfälle.

Roxxor

(Themenstarter)
Avatar von Roxxor

Anmeldungsdatum:
13. April 2007

Beiträge: 166

stfischr schrieb:

Roxxor schrieb:

Sorry 😀 Ich sollte mein Halbwissen doch manchmal für mich selber behalten 😀 Ich meinte das mal wo gehört zu haben..

Mit der Googlesuche findest du zu jedem beliebigen Festplattenmodell (halbwegs Verbreitung vorausgesetzt) hunderte Berichte über Ausfälle.

Bedeutet für mich also dass alle nur über Ausfälle berichten und nur die wenigsten Berichte schreiben wenn die Platte ewig rund läuft. Und wenn einer schreibt dass die Platte gut läuft, hat sich in der Zwischenzeit wahrscheinlich das Produkt völlig verändert. Dadurch keine Anständige Vergleichsmöglichkeit was dazu führt dass ich mir eigentlich nur auf gut Glück eine kaufen kann?

EDIT: Vielleicht hilft auch das dabei, einzuschätzen wie gut der Router für diesen Zweck geeignet ist:http://wiki.openwrt.org/doc/hardware/performance
Hier nochmal die gesamten Specs:http://wiki.openwrt.org/toh/tp-link/tl-wr1043nd#hardware

stfischr Team-Icon

Avatar von stfischr

Anmeldungsdatum:
1. März 2007

Beiträge: 19197

Roxxor schrieb:

Bedeutet für mich also dass alle nur über Ausfälle berichten und nur die wenigsten Berichte schreiben wenn die Platte ewig rund läuft. Und wenn einer schreibt dass die Platte gut läuft, hat sich in der Zwischenzeit wahrscheinlich das Produkt völlig verändert. Dadurch keine Anständige Vergleichsmöglichkeit was dazu führt dass ich mir eigentlich nur auf gut Glück eine kaufen kann?

Jupp, bis auf die wenigen Skandale mit komplett fehlerhaften Serien (Seagate war da mal besonders aufgefallen), kann man bei neuen Festplatten mit ca 2% Ausfallwahrscheinlichkeit im ersten Jahr rechnen. Wenn also von einer Festplatte 100000 Stück verkauft werden macht das schon 2000 defekte Festplatten, selbst wenn von den Betroffenen nur 10% im Internet aufschreien kommt einem das schon wie unglaublich viele Defekte vor.

Man sollte sich einfach klar machen, dass Festplatten jederzeit kaputt gehen können und dementsprechend aktuelle Backups besitzen. 3 Jahre Garantie geben eigentlich alle Hersteller und wenn man das braucht hat man auch die Option auf 5 Jahre Garantie.

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Hallo Roxxor,

erst mal gehe ich nur kurz auf Deine Fragen ein:

Roxxor schrieb:

Ok. Eine Lösung die auch automatisch über das Internet synced wäre mir natürlich sehr recht. Ich bin mir jedoch nicht sicher ob ich das wirklich verwalten kann, so wie du das jetzt beschreibst. Kommt drauf an wieviele verschiedene Skripte laufen. Ich kann mich da sicher einarbeiten, würde dafür jedoch etwas Hilfe benötigen.

Das ist eine fertige Lösung (mit Doku, die allerdings bezüglich der Replikation nur fast fertig ist (wahrscheinlich in Englisch in ein paar Tagen, noch ein paar Tage später in Deutsch)). Sie enthält allerdings nicht die (hier vermutlich sinnvolle) Synchronisation mit rsync. Die kann man aber einbauen. Dazu ist folgendes notwendig: Sicherstellen, dass rsync alle Deltas synchronisiert hat, anschließend mv der Daten und Start eines fertigen Skripts. Das könnte alles aus Riga passieren. Am anderen Ende müsste allerdings ein rsync möglich sein und die Daten nach der Übertragung gelöscht (oder weggeschoben) werden.

Aus Kostengründen wäre mir bei einem Sync über das Internet je dieser Router mit OpenWRT http://wiki.openwrt.org/toh/tp-link/tl-wr1043nd + externe Festplatte sehr recht(Also das gleiche Pärchen in Riga und Deutschland). Würde der mit der Belastung zurechtkommen? (400Mhz, 32MB RAM, 8MB Flash, USB 2.0, Gigabithttp://wiki.openwrt.org/toh/tp-link/tl-wr1043nd#hardware)

Weiß ich nicht. Das Backup an sich würde ja auf dem Rechner Deiner Eltern laufen und über NFS auf die NAS Box gehen. Dann müsste auf der NAS Box nur rsync laufen. Habe ich das richtig verstanden? rsync ist recht Speicherhungrig (RAM), dass sollte hier, weil nur die Deltas übertragen werden müssen, aber keine Rolle spielen, sofern es überhaupt drauf ist.

Also bevor du anfängst dir die Finger wund zu tippen muss ich mich erst entscheiden welche von beiden Lösungen ich ejtzt umsetze.
Dann kann ich zu meinen Linux Kentnissen sagen, dass ich auf der Konsole (zb. Administration der Router über SSH) mich gut zurechtfinde. Probleme habe ich teilweise mit Verwaltung von Zertifikaten (zB. OpenVPN).

Ich habe zu Hause einen Server, auf dem openVPN (und anderes) läuft. Über eine Fritzbox komme ich von außen daran. Es gibt auf der Seite von openVPN eine Schritt für Schritt Anleitung für Deppen, die habe ich damals durchgezogen und alles hat geklappt. Ich müsste ggf. mal nachsehen (ist schon Jahre her). Aber dazu würde ich in Deiner Stelle ggf. eine extra Frage loslassen.

Ich verstehe einfach teilweise nicht welches Zertifikat wohin gehört. Ich wüsste auch nicht wie ich rsync oder ähnliches (ich vermute da würdest du Tipps haben 😀) über die Konsole mit einem FTP oder sonstigem Server verbinden kann. Hab mit soetwas nur Erfahrung mit physikalisch gemounteten Devices.

Mir schwebt da eine Lösung vor, wo er erst mal ein lokales Backup macht, und dann die echten Deltas (also unter Berücksichtigung von Deduplikation) per rsync nach Riga schiebt

Für diesen Satz hab ich etwas Zeit gebraucht, aber das Prinzip verstanden. Wie sieht es da mit History und Wiederherstellung aus?

Du hättest mit der mir vorschwebenden Lösung für die kleinen Dateien:

ein lokales Backup mit Historie und automatischem Löschen sowie eine Ablage der Deltas. Diese werden beim Replizieren mit Riga übertragen und müssen anschließend gelöscht werden. (Falls Du alles z.B. mit sshfs machen würdest (am Besten in openVPN, da es eine sehr stabile Verbindung erstellt), wäre alles schon vorgekaut (automatisiert). Allerdings ist sshfs bei großen Datenmengen über so eine Strecke nicht zuverlässig. Bei den paar jetzt angedachten Dateien sollte das aber eigentlich gehen. Jedenfalls werden aus den Deltas in Riga wieder vollständige Backups gebastelt. Du hast also komplette und identische Backups in Riga und Dt. Löschen kannst Du in Riga und Dt. nach unterschiedlichen Kriterien.

Bei den Film-Dateien könntest Du folgendes machen:

1. Entweder wie bei den kleine Dateien, als Ziel für die Replikation aber was lokales angeben. Die Deltas werden dann in Dt. gesammelt und erst dann auf die externe Platte repliziert, wenn Du sie anschließt und ein Skript startest. Kostet Platz, ist aber am elegantesten und der gleiche Prozess wie bei den nicht-Film-Daten.

2. Du erstellst nur ein lokales Backup und kopierst den Krempel komplett auf deine externe Platte, wenn Du in Dt. bist (z.B. mit rsync).

3. Du erstellt nur ein lokales Backup und benutzt das von mir irgendwo vorher erwähnte Skript, mit dem Du die fehlenden Backups aus dem zentralen Backup in Dt. an die auf Deiner externen Platten befindlichen "dranlinkst". Nachteil: Du musst ein bisschen darauf achten, was zu kopieren ist. Hier ist kein Prozessfluss vorhanden.

So, ich hoffe dass ich ein grobes Bild meiner Linux Kentnisse darstellen konnte.

Sollte reichen.

Wenn der Router nicht reicht und ich wesentlich größere Geschütze auffahren müsste, würde mir das wahrscheinlich zu teuer werden.
Dazu muss ich auch sagen dass ich bei der NAS-Lösung mit diesem Gerät die Kosten kalkuliere.http://www.amazon.de/D-Link-DNS-320-Sharecenter-NAS-Server-Festplatte/dp/B004AIWOXY/ref=sr_1_1?ie=UTF8&qid=1341867139&sr=8-1 Taugt das Teil?

Ich kenne mich da leider nicht aus, da ich einen "richtigen" Server betreibe und so etwas für ich daher eher uninteressant ist. Achte darauf, dass man ein Debian (o.ä.) draufziehen kann (muss man ja nicht) und dass es NFS und ssh unterstützt - hier wäre auch rsync eventuell wichtig. Dann hast Du alle Optionen.

Hier nochmal meine Kalkulationen für beide Varianten:
NAS(75€) + 2x 1TB intern (2x80€) + eine schon vorhandene externe 1,5TB(0€)= 235€
2x Router (2x40€) + 2x 1TB extern (2x90€) = 260€

Die Lösung, die mir vorschwebt, ist eine auf storeBackup basierende Replikation (hatte ich hier schon mal irgendwo drüber geschrieben). Die Replikation funktioniert so ähnlich wie bei einer Datenbank oder LDAP. (Also so ähnlich, nicht genauso.) Ich teste und verwende das bei mir seit etwa 2 Monaten "produktiv" ohne Probleme. Wie schon geschrieben, wird das Ganze (hoffentlich) in den nächsten Tagen und der GPL rauskommen.

Wenn Du willst, schick mir 'ne PN mit Deiner E-Mail Adresse, dann kann ich Dir die Doku inkl. Replikation schicken (ist momentan in USA in Arbeit, ich habe aber eine vorläufige).

Grundsätzlich kannst Du aber auch selbst was basteln, wenn es nur um ein paar Dateien geht. Aber das dürfte vom Ergebnis bescheidener sein und mehr Arbeit machen.

jetzt habe ich mir doch wieder die Pfoten wund geschrieben (leck) 😛

Grüße, ixo

Roxxor

(Themenstarter)
Avatar von Roxxor

Anmeldungsdatum:
13. April 2007

Beiträge: 166

Wow danke ☺
Also auf em Router laufen 3 firmwares: Orginal (erfüllt den Zweck nicht), OpenWRT(hier mal zur Info falls du es garnicht kennst:http://de.wikipedia.org/wiki/OpenWrt und (höchtswahrscheinlich)DDwrt.

Hier ist das Repo von OpenWRT: http://downloads.openwrt.org/backfire/10.03/brcm47xx/packages/ Kann ich damit alle Abhängigkeiten erfüllen? Bzw. ich kann es auch gerne selber checken wenn du mir Dokus bereitstellen könntest. 😀

Also ich versuche jetzt mal alles zu ordnen(Habe mich für Lösung 2 bei den Videos entschieden):

Der Laptop schiebt ALLE Daten per StoreBackup(oder rsync? habe nicht ganz verstanden welches Tool besser wäre) auf den Deutschen Router, über welchen das Dateisystem per NFS am Laptop eingehängt ist.
→ Software: Laptop: StoreBackup; RouterDE: NFS-Server (wie sieht es denn mit NFS mount aus, wenn der Laptop nur über WLAN rennt? Wäre direktes schieben über SSH vl. stabiler, wenn auch langsamer?)

Ein Backup ist nun auf Router DE vorhanden. RouterRIGA und RouterDE sind per OpenVPN im selben Netzwerk. Alle Daten (außer /home/name/Videos) werden per Programm X(was am ressourcenschonendsten und sichersten die Daten rüberkopiert) von DE nach Riga gepullt.(In Riga habe ich dooferweise keinen Zugriff auf die Portfreigaben, deshalb kein push nach Riga möglich).
->Endergbnis Software: Laptop: Storebackup; RouterDE: NFS-Server, OpenVPN server; RouterRIGA: openVPN client, software X (zum pullen des Backups)
Das gute hier ist, dass RouterDE, auf dem schon 2 Server laufen, keine weiteren Operationen ausführen muss. Laptop und RouterRIGA berechnen die Backups.

Backups der Videos werden bei Bedarf per Hand lokal aktualisiert. Dort sollten ohne mich sowieso keine Änderungen stattfinden.

Ich hoffe ich bin jetzt nicht zu sehr von deiner eigens erstellten Lösung abgewichen. Deine Lösung setzt ja wie ich verstanden hab auf StoreBackup auf. Was unterscheidet sie davon?

Puh.. Also wenn ich jetzt keinen Denkfehler habe, könnte das klappen 😀
Meiner Meinung nach (in diesem Bereich leider keine sehr wertvolle 😀) könnte das durachaus klappen und auch die Ressourcen der Router sollten reichen.
Nachricht mit meiner Mailadresse folgt!
Was hälst du davon?
Vielen vielen dank! Die Hilfe ist einfach nur Spitze!

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Roxxor schrieb:

Wow danke ☺
Also auf em Router laufen 3 firmwares: Orginal (erfüllt den Zweck nicht), OpenWRT(hier mal zur Info falls du es garnicht kennst:http://de.wikipedia.org/wiki/OpenWrt und (höchtswahrscheinlich)DDwrt.

Hier ist das Repo von OpenWRT: http://downloads.openwrt.org/backfire/10.03/brcm47xx/packages/ Kann ich damit alle Abhängigkeiten erfüllen? Bzw. ich kann es auch gerne selber checken wenn du mir Dokus bereitstellen könntest. 😀

Das sieht ja richtig gut aus. Wahrscheinlich läuft storeBackup sogar darauf (Option lateLinks auf dem Client), Vervollständigung des Backups wäre auf dem Router, braucht auch kaum RAM).

Also ich versuche jetzt mal alles zu ordnen(Habe mich für Lösung 2 bei den Videos entschieden):

Der Laptop schiebt ALLE Daten per StoreBackup(oder rsync? habe nicht ganz verstanden welches Tool besser wäre) auf den Deutschen Router, über welchen das Dateisystem per NFS am Laptop eingehängt ist.

Die Idee ist in etwa:

Backup = storeBackup (mit Dedup, Versionsverwaltung, Replikation, Konsistenzprüfung (in Riga), etc.)

rsync = sync (über miese Leitung, soweit ich's kenne das Beste dafür)

→ Software: Laptop: StoreBackup; RouterDE: NFS-Server (wie sieht es denn mit NFS mount aus, wenn der Laptop nur über WLAN rennt? Wäre direktes schieben über SSH vl. stabiler, wenn auch langsamer?)

Möglichkeiten: nfs, sshfs, rsync bei Replikation dazwischen, mal sehen. Erst mal sollte openVPN laufen. Das stellt dann eine sichere Verbindung für alles was Du willst her. Ich habe mal aus einem Hotel eine openVPN Verbindung nach Hause aufgebaut und bin dabei von LAN auf WLAN (im Hotel) gewechselt. openVPN hat das überlebt und die Sessions darin auch. ☺


Ein Backup ist nun auf Router DE vorhanden. RouterRIGA und RouterDE sind per OpenVPN im selben Netzwerk. Alle Daten (außer /home/name/Videos) werden per Programm X(was am ressourcenschonendsten und sichersten die Daten rüberkopiert) von DE nach Riga gepullt.(In Riga habe ich dooferweise keinen Zugriff auf die Portfreigaben, deshalb kein push nach Riga möglich).

Von wo der Verbindungsaufbau erfolgt, sollte egal sein. Vielleicht könnte man rsync auch als Daemon auf dem NAS laufen lassen, das wäre auch nicht schlecht.

->Endergbnis Software: Laptop: Storebackup; RouterDE: NFS-Server, OpenVPN server; RouterRIGA: openVPN client, software X (zum pullen des Backups)
Das gute hier ist, dass RouterDE, auf dem schon 2 Server laufen, keine weiteren Operationen ausführen muss. Laptop und RouterRIGA berechnen die Backups.

Backups der Videos werden bei Bedarf per Hand lokal aktualisiert. Dort sollten ohne mich sowieso keine Änderungen stattfinden.

Ich hoffe ich bin jetzt nicht zu sehr von deiner eigens erstellten Lösung abgewichen. Deine Lösung setzt ja wie ich verstanden hab auf StoreBackup auf. Was unterscheidet sie davon?

Eigentlich primär, dass Du für Noppes ein paar Gimmiks bekommst: Deduplikation (sehr sparsames Umgehen mit Plattenpaltz), Versionierung, Kompression (würde ich hier eher nicht machen, damit Deine Eltern einfacher an die Daten kommen, Du kannst das aber extrem selektiv festlegen), Replikation (wäre jetzt hier aufwändig zu erklären), Konstistenzprüfung, einfach zu handhabende komplexe Löschfunktionalitäten, ... (weiteres und Detail steht in der Doku dazu)

Puh.. Also wenn ich jetzt keinen Denkfehler habe, könnte das klappen 😀
Meiner Meinung nach (in diesem Bereich leider keine sehr wertvolle 😀) könnte das durachaus klappen und auch die Ressourcen der Router sollten reichen.
Nachricht mit meiner Mailadresse folgt!
Was hälst du davon?
Vielen vielen dank! Die Hilfe ist einfach nur Spitze!

Grüße, ixo

PS: E-Mail ist raus.

ixo

Avatar von ixo

Anmeldungsdatum:
6. April 2009

Beiträge: 316

Fehlpost.

Antworten |