staging.inyokaproject.org

Fragen zu UrBackup, das per Software-RAID-1 mit Btrfs auf USB-Festplatten sichert

Status: Gelöst | Ubuntu-Version: Ubuntu 18.04 (Bionic Beaver)
Antworten |

Clemens-XS

Anmeldungsdatum:
4. April 2015

Beiträge: 281

Mein Wunsch ist es, zunächst mit einem UrBackup-Server, der auf einem Notebook läuft, auf dort angeschlossene USB-Festplatten mit Btrfs in RAID-1-Konfiguration Backups zu erstellen. Nach den Informationen, die ich mir inzwischen zusammen gesucht habe, dürfte Btrfs in Konfiguration als Software-RAID-1 seine Vorteile voll zur Wirkung bringen.

Alternativ könnte ich es mir auch einfach machen und einfach ein RAID-Festplattengehäuse wählen, sodass hier ein Harwdare-RAID-1 entsteht. Selbst, wenn es mir gelänge, die Festplatten darin auf Btrfs zu formatieren, so würden die Vorteile von Btrfs nicht zur Entfaltung kommen. Deshalb sollen die beiden Platten in diesem Gehäuse im JBOD-Betrieb laufen, sodass der Controller in dem Gehäuse nur noch wie ein USB-Hub wirkt mit Umsetzer USB <—> SATA. Die vom Notebook einzeln erkennbaren Platten kann ich dann als Software-RAID-1 konfigurieren, auch mit Btrfs.

Das wäre, vom Datendurchsatz mal abgesehen, das Gleiche, als wenn ich zwei USB-Festplatten an je einen USB-Port des Notebook anstecke und diese als Software-RAID-1 betreiben würde.

Meine Frage bezieht sich nun auf das Software-RAID: Angenommen, das Notebook würde defekt. Kann ich dann das Btrfs-Software-RAID-1 einfach an einen anderen Linux PC anschließen und habe dann wieder Zugriff auf meine Daten, als sei nix geschehen? Oder bedarf es dazu bestimmter Konfigurations-Dateien, die ich von dem Notebook herunter retten müsste, um das RAID-1 an dem anderen PC so betreiben zu können, dass ich wieder an meine Daten heran komme?

frostschutz

Avatar von frostschutz

Anmeldungsdatum:
18. November 2010

Beiträge: 7795

Clemens-XS schrieb:

Angenommen, das Notebook würde defekt. Kann ich dann das Btrfs-Software-RAID-1 einfach an einen anderen Linux PC anschließen und habe dann wieder Zugriff auf meine Daten, als sei nix geschehen?

Das trifft weitgehend zu, aber es gibt dann so ein paar Sonderfälle... ist das USB selbst dauerhaft stabil? Was passiert, wenn das USB-Gehäuse kaputt geht und du die Platten umtopfen musst?

Ich habe mir selbst eine Festplatte aus einem USB-Gehäuse herausgepopelt (WD My Book), einfach weils diese im tollen Sonderangebot gab 😉 und intern eingebaut hatte diese Platte knapp ein halbes MB mehr Speicher, weil das USB-Gehäuse da eine kleine Region für sich selber reserviert hatte. Andere USB-Gehäuse machen dann noch eine komische Umsetzung zwischen 4k- und 512e Sektorgrößen. An und für sich sind solche Dinge harmlos, aber sowas kann schon reichen, um z.B. die Partitionierung ungültig zu machen und somit läuft da erstmal gar nix mehr, bis man weiß, woran es liegt, und wie man es behebt.

Am schlimmsten sind dazu noch USB Gehäuse, die mit Hardwareverschlüsselung daher kommen. Da ist es dann ein Feature, daß man an die Daten nicht mehr herankommt.

Wenn es immer noch um ein altes Netbook geht, kommt dann noch hinzu... nur USB2 und geteilte Bandbreite, bei RAID1 musst du alles doppelt schreiben, so wieder ein Flaschenhals sondersgleichen.

Clemens-XS

(Themenstarter)

Anmeldungsdatum:
4. April 2015

Beiträge: 281

Danke für deine schnelle Antwort, in der du weitere Aspekte nennst, die ich bisher noch nicht berücksichtigt hatte, wie z.B. die Sache, dass USB-Gehäuse mit ihren Controllern evtl. ein böses Eigenleben haben können.

Dass die Sache mit dem Notebook natürlich recht langsam wird, weil nur USB 2.0 und dann noch der Datenstrom auf zwei Platten aufgeteilt... das ist mir klar. Hierbei geht es auch erst mal nur darum, auszuprobieren und zu demonstrieren, wie minimal ein Gesamtkonzept ausgestattet sein kann und dennoch voll funktionsfähig ist — z.B. als Demo-Objekt auf Seminaren.

Die Produktionssysteme und auch mein späteres System arbeiten natürlich dann mit USB 3.0, falls ich dann immer noch so ein Gehäuse einsetze. Aktuell habe ich bereits eines bestellt: Startech S352BU33RER 3.5" Ich finde daran gut, dass es (für später) USB 3 mit UASP-Protokoll unterstützt, dass die Platten mit einem Lüfter gekühlt werden (7cm Ø, also größer und somit leiser als in den meisten anderen Gehäusen), dass man nur ein gehäuse hat, statt für jede Platte eines und dass es ein Steckernetzteil hat, sodass bei Ausfall des Netzteils schnell ein Standard-Netzteil nachgekauft werden kann.

Aber du hast vollkommen Recht: Wenn der Controller da etwas mit den Platten veranstaltet, das zusammen mit anderen Gehäusen oder Controllern, oder im internen Betrieb Probleme machen könnte, dann ist das echt von Übel! Da ich ja ein Rückgaberecht habe, kann ich das Verhalten der Controller ja sofort testen.

Wäre es deiner Ansicht nach ein zuverlässiger Test, wenn ich die Platten in dem Gehäuse formatiere und Btrfs (ohne RAID-1) einrichte und dann über den Laufwerkmanager in Lubuntu die Daten der Partitionen auslese. Anschließend setze ich die Platten intern in einen Ubuntu-PC und lese die Daten wieder aus. Wenn sich Unterschiede ergeben würden oder die Platte gar nicht korrekt ansprechbar wäre, dann muss das Gehäuse zurück. — Aber wäre es denn wirklich ein "Beweis", dass der Controller im Gehäuse nichts "Böses" tut, wenn die Platte bei internem Einbau einwandfrei läuft und die gleichen Daten für die Partition liefert?

Und wäre es dann besser, die Platten in einzelnen USB-SATA-Gehäusen zu betreiben? Oder gibt es dort ähnliche Probleme mit den Controller-Chips in den Gehäusen?

frostschutz

Avatar von frostschutz

Anmeldungsdatum:
18. November 2010

Beiträge: 7795

Clemens-XS schrieb:

Und wäre es dann besser, die Platten in einzelnen USB-SATA-Gehäusen zu betreiben? Oder gibt es dort ähnliche Probleme mit den Controller-Chips in den Gehäusen?

Da kanns ähnliche Probleme geben (meins war ja gerade eine einzelne Festplatte).

Am besten man macht die Backups doppelt...

Aber probiers einfach mal aus.

Clemens-XS

(Themenstarter)

Anmeldungsdatum:
4. April 2015

Beiträge: 281

Merkwürdigkeiten betr. "USB-Festplatten" bzw. deren Controllern hatte ich ebenfalls schon feststellen können, aber nicht so, wie du es beschrieben hattest:

1.) Ich habe eine dieser schockresistenten Transcend-Platten. An Windows 7 wird sie sofort und immer erkannt. Die gleiche Platte wird an dem neuen Ubuntu-PC am USB3-Anschluss nicht erkannt, obwohl sie hoch läuft.

2.) Ich habe ein Medion-Gehäuse, in dem damals eine Seagate 1TB-Platte eingebaut war. Am Win-7-PC wird sie sofort erkannt und am Ubuntu-PC auch. Aber wenn sie einige Zeit nicht gebraucht wird, schaltet der USB-Controller darin die Platte ab. Danach ist sie bei Ubuntu nicht mehr gemountet und kann nicht mehr hochlaufen, weil man sie ja nicht mehr ansprechen kann. Unter Win-7 läuft sie aber wieder an, weil sie dort gemountet bleibt.

Ich habe die 1TB-Platte aus dem Medion-Gehäuse ausgebaut und als interne Platte eingesetzt. Sie war exFAT formatiert und lief im Ubuntu-PC ohne Probleme einwandfrei los, obwohl die Formatierung ja über den Controller erfolgt war.

Backups doppelt machen, wäre mir nicht nur zu aufwendig sondern auch zu teuer. Ich brauche hier 2 mal 4 TB. Gute Platten (z.B. Seagate Barracuda Pro mit 4 TB kosten aktuell je ca. 165 Euro)

In letzter Konsequenz blieb mir dann ja nur, z.B. einen ITX- oder Mini-ITX gebraucht zu kaufen, dessen Lüftungskonzept mit 2 x 3,5"-Platten zurecht kommt und der dann als Backup-Server läuft. Sonderlich leistungsstark muss er ja nicht sein und schneller als das MSI-Notebook ist er gewiss.

Ich danke dir für diesen erkenntnisreichen Austausch!

seahawk1986

Anmeldungsdatum:
27. Oktober 2006

Beiträge: 11278

Clemens-XS schrieb:

Backups doppelt machen, wäre mir nicht nur zu aufwendig sondern auch zu teuer. Ich brauche hier 2 mal 4 TB. Gute Platten (z.B. Seagate Barracuda Pro mit 4 TB kosten aktuell je ca. 165 Euro)

Eine Backupplatte, die ständig am Stromnetz hängt, ist im Zweifelsfall nichts wert - da hilft dir auch ein RAID-1 nichts, wenn es zu Überspannungsschäden kommt. Du willst die Backup-Platten regelmäßig durchwechseln und insbesondere für wichtige Daten ein zusätzliches, getrennt gelagertes Backup haben.

Die Seagate Barracuda Pro ist nicht für den Dauerbetrieb vorgesehen (sondern eher für Workstations). Für den Dauerbetrieb gibt es von Seagate die Ironwolf Serie, die momentan bei ca. 110€ für 4 TB liegt. Ansonsten haben die WD Red mit 4 TB (die liegen aktuell bei ca. 115-120€) auch einen guten Ruf.

Clemens-XS

(Themenstarter)

Anmeldungsdatum:
4. April 2015

Beiträge: 281

Der Backup-Server wird in meinem Anwendungsfall nur abends gestartet, führt die Backups durch und wird dann wieder herunter gefahren. Dto. wenn eine Rücksicherung erfolgen muss. Ein Dauerbetrieb ist nicht vorgesehen und in meinem Anwendungsfall auch nicht erforderlich.

Aber das hatte ich hier ja nicht mit in den Thread reingeschrieben. Aber danke für deinen Hinweis!

frostschutz

Avatar von frostschutz

Anmeldungsdatum:
18. November 2010

Beiträge: 7795

Clemens-XS schrieb:

Gute Platten (z.B. Seagate Barracuda Pro mit 4 TB kosten aktuell je ca. 165 Euro)

Es gibt keine guten Platten. Alle Platten gehen kaputt. Mehr Geld draufwerfen hilft dagegen einfach nicht.

Dann lieber Festplatten regelmäßig durchtesten (SMART-Monitoring und Selftests, bzw. btrfs-scrub) und bei Auffälligkeiten nicht lange mit dem Tauschen zögern. Was bei "günstigen" Platten leichter fällt als beim High-End-Modell.

Ohne regelmäßige Tests bleiben Festplattenfehler wochen- und monatelang unbemerkt und irgendwann ist es dann eben einfach zu spät. Da hat man dann auch nichts davon wenn ein Gold-Enterprise-Ultra-Pro Sticker draufklebt.

Um 165 kannst du dir zwei normale 4TB Platten im USB-Gehäuse holen und für reine Backups reicht das auch. Bei Backups ist es wichtig daß man sie überhaupt hat. Gerne auch doppelt - und bei statischen Daten überschaubarer Menge auch nochmal auf optischen Medien, die gern schlechtgeredet werden, aber als einzige einen Kurzschluss/Blitzschlag/FormatC: u.ä. Unfälle überstehen, und bei richtiger Lagerung (dunkel) auch lange halten.

Wie teuer die Hardware war spielt da eher eine untergeordnete Rolle.

Clemens-XS

(Themenstarter)

Anmeldungsdatum:
4. April 2015

Beiträge: 281

Ich hatte die Barracuda Pro ausgewählt, weil sie mit PMR schreibt und nicht im SMR-Verfahren. Das ist IMHO tatsächlich ein Vorteil für Datenstabilität. Aber auch mir ist klar, dass Festplatten im Grenzbereich von Physik und Elektronik arbeiten und es daher keine Frage ist, ob sondern nur wann sie ausfallen. (War das nicht sogar hier in der Wiki?)

Die Seagate Enterprise-Platte in meinem Haupt-PC (zurzeit noch Win-7) hält bereits seit 9 Jahren durch! SMART-Werte alle OK.

In meinem Fall entstehen meistens über den Zeitraum von ca. 1 Jahr Daten zu einem Kunden. Endet dann die Zusammenarbeit, werden die Daten auf M-Discs archiviert, weil die gestzliche Aufbewahrungsfrist 10 Jahre beträgt. Nach erfolgter Archivierung werden die Daten vom Backup und auch von allen anderen Datenträgern gelöscht. Nach 10 Jahren gehen die optischen Datenträger in die Mikrowelle.

Daten auf dem Backup-Server werden nur für die Zeit bis zur Archivierung dort gespeichert.

Außerdem ist mir klar, dass es nie ein perfektes Backup-Konzept geben wird, weil immer irgendwo etwas ausfallen kann und der Aufwand exponenziell ansteigt. Ich akzeptiere daher das Motto "Shit happens" und versuche, im für mich akzeptablen wirtschaftlich Rahmen den Bestimmungen der DSGVO und der GoB zu folgen. Und das ist für meine Verhältnisse bereits teuer genug!

Antworten |