staging.inyokaproject.org

hannemann schrieb:

Dadurch hat es mir nach Einbau einer weiteren Platte das RAID zerlegt. Einen Hinweis darauf, wie man das fixen kann, finde ich nicht ganz unwichtig, gerade wenn man das RAID vor der Überabeitung bereits angelegt hatte. In der Baustellenseite fehlt dieser.

Generell was für den Abschnitt Problembehebung, da hast du Recht. Hast du noch eine entsprechende Fehlermeldung, mdstat-Auszug o.ä. parat? Irgendwas, womit der Leser schnell vergleichen könnte, ob er evtl. das gleiche Problem hat? Müsst ich das nicht erst in ner VM nachstellen. Wenn du's selber eintragen würdest wär näturlich top 😀

Nonymus schrieb:

Das hab ich jetzt noch nicht wirklich verstanden. Vielleicht magst du noch mal Schritt für Schritt erklären, wie genau was schief gegangen ist?

Ich hatte das Raid vor einigen Monaten mal angelegt und dabei die DEVICES Konfiguration in der mdadm.conf angegeben.

DEVICES /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1

Die auskommentierte Zeile

DEVICE partitions containers

hatte ich damals in der Beispielkonfiguration, die bei der Installation von mdadm mitkam überlesen.

Da ich eine Benachrichtigung im Fehlerfall erhalten möchte, kann ich ja auf die Datei nicht verzichten. Das ich eine Konfiguration angeben kann, die den mdadm anweist, sich die Partitionen selbst zu suchen, war mir gar nicht bewusst.

Nachdem ich dann letzte Woche eine neue Platte angestöpselt hatte, hat sich die Reihenfolge geändert und der Rechner wollte nicht starten, da das Raid degraded war. Wie ich das lösen konnte, habe ich erst nach ewigem Googeln herausbekommen. Im Wiki bin ich nämlich immer auf der Baustellenseite gelandet, und da war der Hinweis nicht vorhanden oder ich hab ihn bis jetzt immer noch nicht gefunden. Wiki alt:

Beschreibt die am RAID teilnehmenden Festplatten/Partitionen, dabei können Wildcards gemäß dem "Globing" genutzt werden. Die Angabe von partitions bewirk, dass alle z.Zt. angeschlossenen Festplatten/Partitionen lt. /proc/partitions zum Aufbau der Arrays herangezogen werden. 

Ich weiß, das ist recht konstruiert aber sooo unrealistisch auch wieder nicht. Wenn jemand vor längerer Zeit mal sein RAID nach dem alten Artikel angelegt hat:

sudo -i
echo 'DEVICE /dev/sd[efgh]1 /dev/sgk1' >/etc/mdadm/mdadm.conf
echo 'MAILADDR user@example.com' >>/etc/mdadm/mdadm.conf
echo 'MAILFROM raid@example.com' >>/etc/mdadm/mdadm.conf
echo 'PROGRAM /usr/bin/usr/bin/raid-problem.sh' >>/etc/mdadm/mdadm.conf
exit 

und den selben Fehler macht wie ich, ist er sicher dankbar dafür herauszufinden, wie er das Problem lösen kann

DEVICE partitions

Nonymus schrieb:

Generell was für den Abschnitt Problembehebung, da hast du Recht. Hast du noch eine entsprechende Fehlermeldung, mdstat-Auszug o.ä. parat?

Leider habe ich da nix. Ich bin direkt auf der Busybox gelandet bzw. wurde kurz gefragt, ob ich degraded booten möchte. Ich habe dann erst mal in Grub eingtragen bootdegraded=true. Mir war also schon klar, das eine Platte fehlt und auch warum. Ich wusste nur nicht, wie ich das dauerhaft lösen konnte.

Daher eher nicht nur für die Problembehebung, sondern auch für die Einrichtung eines RAID ein wichtiger Hinweis. IMO.

Man muss ja auch sehen, das nicht jeder einen Wiki Artikel komplett durchliest. Ich selbst z.B. ertappe mich immer wieder dabei, das ich nach dem Wiki vorgehe, bis es läuft. Den Abschnitt Problembehebung lese ich erst dann, wenn es geknallt hat.

Hallo,

ich habe ein RAID 5 mit 4 Festplatten (je 3TB) nach dem wiki in der Baustelle (http://wiki.ubuntuusers.de/Baustelle/Software-RAID) angelegt (bzw. die Kiste ist noch am Rödeln) und dabei sind mir folgende Dinge aufgefallen (Ubuntu 12.04.3 LTS (GNU/Linux 3.2.0-35-generic x86_64):

Partitionierung

sudo parted -a optimal -- /dev/sde mkpart 2048s -8192s

Der Befehl wurde bei mir so nicht angenommen (hab dummerweise nicht mehr die exakte Fehlermeldung, hatte jedoch etwas damit zu tun das die -8192s als "END" nicht erkannt wurden). Hab dann aber einfach die Partition "von Hand" erstellt:

sudo parted
select /dev/sdb
mklabel gpt
mkpart 
 * partitionsname[]:
 * dateisystem[]:
 * Anfang[]: 2048s
 * Ende[]: -8192s

und mit

align-check opt 1

das Alignment überprüft (wobei sich der test ja nur auf den Partitionsanfang bezieht?!)

RAID anlegen:

im "alten" wiki Artikel (http://wiki.ubuntuusers.de/Software-RAID) stand noch das man die Partitionen via "/dev/disk/by-id/ auswählen kann, bzw sollte.

Da die Vergabe der Devices für Festplatten /dev/sdX sich auch ändern kann, kann man, um ein defektes Raid zu vermeiden auch die eindeutige ID der Festplatte, zu finden unter /dev/disk/by-id/... angeben.

Warum wurde dies nicht mit übernommen? Ich habe mein RAID mit folgendem Befehl angelegt:

sudo mdadm --create /dev/md0 --auto md --level=5 --raid-devices=4 /dev/disk/by-id/scsi-SATA_AAAAA-part1 /dev/disk/by-id/scsi-SATA_BBBBB-part1 /dev/disk/by-id/scsi-SATA_CCCCC-part1 /dev/disk/by-id/scsi-SATA_DDDDD-part1

Gibt es etwas das dagegen spricht? Und macht es einen unterschied ob ich ata-, scsi oder wwn- als ID benutze?

Verschlüsselung:

Verschlüsselung gehört nicht ganz zum Thema, jedoch habe ich vor das gesamte RAID via cryptsetup zu verschlüsseln (so z.B. http://black-pixel.net/debian-raid-5-encryption.html ). Gibt es etwas das gegen eine Verschlüsselung von einem RAID sprechen würde? Könnte ja noch mit in "Komplexe Aufgaben" aufgenommen werden, falls sich dadurch Vor- oder Nachteile ergeben würden.

umpfel schrieb:

Der Befehl wurde bei mir so nicht angenommen (hab dummerweise nicht mehr die exakte Fehlermeldung

Bei mir scheint der Befehl zu tun, Fehlermeldung wäre hilfreich...

das Alignment überprüft (wobei sich der test ja nur auf den Partitionsanfang bezieht?!)

Der Partitionsanfang ist das wichtige, das Ende ist normalerweise egal. Natürlich trotzdem schön wenn das Ende auch stimmt, damit ggf. nachfolgende Partitionen daran anschließen können. Man kann sich den Check aber auch schenken, wenn man eh schon explizit den (korrekten) Startsektor angibt. Das -8192s halte ich für übertrieben aber wenns schee macht...

Warum wurde dies nicht mit übernommen? Ich habe mein RAID mit folgendem Befehl angelegt:

sudo mdadm --create /dev/md0 --auto md --level=5 --raid-devices=4 /dev/disk/by-id/scsi-SATA_AAAAA-part1 /dev/disk/by-id/scsi-SATA_BBBBB-part1 /dev/disk/by-id/scsi-SATA_CCCCC-part1 /dev/disk/by-id/scsi-SATA_DDDDD-part1

Gibt es etwas das dagegen spricht? Und macht es einen unterschied ob ich ata-, scsi oder wwn- als ID benutze?

Dagegen spricht, daß es umständlich einzugeben ist und rein gar nichts bringt, in den Metadaten von mdadm landen doch wieder die einfachen /dev/sd* Namen.

Gibt es etwas das gegen eine Verschlüsselung von einem RAID sprechen würde?

Nö. Ob du RAID hast oder nicht, ändert nichts an der Frage ob Verschlüsselung oder nicht.

umpfel schrieb:

Der Befehl wurde bei mir so nicht angenommen (hab dummerweise nicht mehr die exakte Fehlermeldung, hatte jedoch etwas damit zu tun das die -8192s als "END" nicht erkannt wurden).

Jupp da kommt:

parted: Unbekanntes Zeichen: -8192s

Wenn man aber wie im Manual verlangt einen Partitionsnamen vergibt, dann klappts:

sudo parted -a optimal /dev/loop0 -- mkpart Raidpart01 2048s -8192s

Gerade im Forum drüber gestolpert. Im derzeitigen "stable" Artikel wird erzählt:

Software-RAID ist in Ubuntu zwar installier- und verwendbar, man sollte sich aber bewusst sein, dass die Ubuntu-Anpassungen am mdadm Paket viele bekannte Fehler 🇬🇧 enthalten, die keinen stabilen Betrieb erlauben.

Das ist meiner Meinung nach völliger Blödsinn, die verlinkte Fehlerliste ist zu 90% mit nichtmehr unterstützten Versionen gefüllt und was z.B. auf 12.04 zutrifft sind irgendwelche Spezialaktionen (proprietäre Metadaten etc).

Leider kann man wegen der Baustelle den Originalartikel nicht verändern. Kann das ein Wikimod eventuell löschen?

Im Originalartikel Hinweis eingefügt.

stfischr schrieb:

Gerade im Forum drüber gestolpert. Im derzeitigen "stable" Artikel wird erzählt:

Software-RAID ist in Ubuntu zwar installier- und verwendbar, man sollte sich aber bewusst sein, dass die Ubuntu-Anpassungen am mdadm Paket viele bekannte Fehler 🇬🇧 enthalten, die keinen stabilen Betrieb erlauben.

Das ist meiner Meinung nach völliger Blödsinn

Ich weiß nicht ob/welche Anpassungen Ubuntu bei mdadm hat, aber IMHO merkt man bei Ubuntu schon, daß der Fokus mehr auf 0815 Rechnern liegt. (Desktop-)Ubuntu fährt allgemein eine ziemlich aggressive Autoerkennung von Geräten, die sich mit komplexen RAID/LUKS/LVM-Setups nicht immer verträgt. Bei mir versucht es vergeblich in jedem Zwischenschritt erneut fehlende Geräte zu finden statt erstmal 2-3 Sekunden zu warten bis alles oben ist... mit dem Ergebnis daß es sich komplett verschluckt. Der Versuch meinen neuen Haswell-Desktop mit Ubuntu (13.10) zu betreiben ist daran gescheitert. Mein Setup (1x SSD, 7x HDD, durch Partitionierung 8x RAID5, jeweils mit LUKS und LVM) ist für Ubuntu zu kompliziert. 😀

Ich muss das mal in Ruhe in einer VM nachstellen und debuggen. Irgendwo gibts da ein Deadlock...

frostschutz schrieb:

Ich weiß nicht ob/welche Anpassungen Ubuntu bei mdadm hat, aber IMHO merkt man bei Ubuntu schon, daß der Fokus mehr auf 0815 Rechnern liegt. (Desktop-)Ubuntu fährt allgemein eine ziemlich aggressive Autoerkennung von Geräten, die sich mit komplexen RAID/LUKS/LVM-Setups nicht immer verträgt. Bei mir versucht es vergeblich in jedem Zwischenschritt erneut fehlende Geräte zu finden statt erstmal 2-3 Sekunden zu warten bis alles oben ist... mit dem Ergebnis daß es sich komplett verschluckt. Der Versuch meinen neuen Haswell-Desktop mit Ubuntu (13.10) zu betreiben ist daran gescheitert. Mein Setup (1x SSD, 7x HDD, durch Partitionierung 8x RAID5, jeweils mit LUKS und LVM) ist für Ubuntu zu kompliziert. 😀

Und bist du daher auch der Meinung, dass generell kein stabiler Betrieb mit Ubuntu-mdadm möglich ist? Oder war das jetzt nur ne Anekdote?

PS: danke dir frustschieber

Hallo,wie geht es hier mit der Baustelle weiter? Gruss

Es gibt noch zwei unbeantwortete Fragen von stfischr und mir.

Hallo zusammen,

ich schon wieder... 😛

Ich habe mich jetzt an den Artikel gehalten, und konnte mit 13.10 32bit folgende Erfahrungen machen:

Partitionierung

sudo parted /dev/sdX mklabel gpt

Das passt! Ich hab 6 HDDs mit mehr als 2TB/HDD, folglich bin ich auch mit GPT fein. Es gibt dieses grafische Werkzeug ("Laufwerke"), welches die freien 4MB am Ende jeden Datenträgers anzeigt, aber das eine MB am Anfang nicht... ist wahrscheinlich zu klein...

sudo parted -a optimal -- /dev/sdX mkpart RMXX 2048s -8192s

Dies musste ich tatsächlich entgegen des Baustellen- Artikels abändern. Wie stfischr korrekt beschrieben hat, kommt ohne Partitionsnamen leider die angesprochene Fehlermeldung (unbekanntes Zeichen).

Ich für meinen Teil habe RM01 bis RM06 gewählt (RM für RaidMember).

sudo parted /dev/sdX set 1 raid on

Das passt auch! Die 6 Aktionen wurden ohne Murren durchgeführt. Es erscheint ein Hinweis auf das Aktualisieren der fstab, aber dies scheint Absicht zu sein... 😉

RAID anlegen

sudo mdadm --create /dev/md0 --auto md --level=6 --raid-devices=6 /dev/sda1 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1

In meinem Fall habe ich mich dazu entschieden, da ich 6 HDDs habe, auch ein RAID6 aufzubauen.

Mein Denkansatz war, dass es relativ wurscht ist, ob ich ein RAID5 aus 5 HDDs mit einer Spare-HDD oder ein RAID6 ohne Spare-HHD erstellen lasse, denn in beiden Fällen können 2 HDDs ausfallen ohne (aus meiner Sicht) sich großartig Sorgen machen zu müssen.

Hier die Details (grob):

user1234@*********-S02:~$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md0 : active raid6 sdf1[5] sde1[4] sdd1[3] sdc1[2] sdb1[1] sda1[0]
      15627528192 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/6] [UUUUUU]
      [=>...................]  resync =  8.6% (339525704/3906882048) finish=600.8min speed=98942K/sec
      
unused devices: <none>

oder die Details (fein):

user1234@*********-S02:~$ sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sun Nov 17 10:56:06 2013
     Raid Level : raid6
     Array Size : 15627528192 (14903.57 GiB 16002.59 GB)
  Used Dev Size : 3906882048 (3725.89 GiB 4000.65 GB)
   Raid Devices : 6
  Total Devices : 6
    Persistence : Superblock is persistent

    Update Time : Sun Nov 17 11:56:08 2013
          State : clean, resyncing 
 Active Devices : 6
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

  Resync Status : 9% complete

           Name : *********-S02:0  (local to host *********-S02)
           UUID : 3c2f8901:ed8b0236:b74c85c6:686b8f34
         Events : 12

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       33        2      active sync   /dev/sdc1
       3       8       49        3      active sync   /dev/sdd1
       4       8       65        4      active sync   /dev/sde1
       5       8       81        5      active sync   /dev/sdf1

Dateisystem:

Wie in der Baustelle beschrieben verwende ich ext4:

user1234@*********-S02:~$ sudo mkfs.ext4 /dev/md0
mke2fs 1.42.8 (20-Jun-2013)
Dateisystem-Label=
OS-Typ: Linux
Blockgröße=4096 (log=2)
Fragmentgröße=4096 (log=2)
Stride=128 Blöcke, Stripebreite=512 Blöcke
488361984 Inodes, 3906882048 Blöcke
195344102 Blöcke (5.00%) reserviert für den Superuser
Erster Datenblock=0
Maximale Dateisystem-Blöcke=0
119229 Blockgruppen
32768 Blöcke pro Gruppe, 32768 Fragmente pro Gruppe
4096 Inodes pro Gruppe
Superblock-Sicherungskopien gespeichert in den Blöcken: 
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
	4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
	102400000, 214990848, 512000000, 550731776, 644972544, 1934917632, 
	2560000000, 3855122432

Platz für Gruppentabellen wird angefordert: erledigt                        
Inode-Tabellen werden geschrieben: erledigt                        
Erstelle Journal (32768 Blöcke): erledigt
Schreibe Superblöcke und Dateisystem-Accountinginformationen: erledigt     

Dieses Einstellen der Chunk Size scheint auch automatisch zu gehen. Bei 6 HDDs und RAID6 werden 4 HDDs "verwendet", was nach dem Artikel eine Chunk Size von 512k sein müsste. Dies hat mdadm oder parted oder mkfs automatisch eingestellt.

RAID mounten

hier komme ich jetzt ins Straucheln, denn unter /media finde ich ein Ordner user1234

user1234@*********-S02:~$ sudo mount /dev/md0 /media/user1234/Videothek
mount: Einhängepunkt /media/user1234/Videothek existiert nicht
user1234@*********-S02:~$ sudo mount /dev/md0 /media/Videothek
mount: Einhängepunkt /media/Videothek existiert nicht

Unter /media kann ich ohne root-Rechte keinen Ordner erstellen, unter /media/user1234 genau so wenig...

Jetzt die große Preisfrage: Was mache ich falsch?

Schmello schrieb:

Mein Denkansatz war, dass es relativ wurscht ist, ob ich ein RAID5 aus 5 HDDs mit einer Spare-HDD oder ein RAID6 ohne Spare-HHD erstellen lasse, denn in beiden Fällen können 2 HDDs ausfallen ohne (aus meiner Sicht) sich großartig Sorgen machen zu müssen.

Es nicht wurscht, sondern viel viel besser, RAID 6 zu benutzen, statt RAID 5 mit Spare.

Die Spare sitzt ungenutzt herum, langweilt sich jahrein jahraus bis dir eine Platte stirbt. Dann fängt die Syncerei an und da stellt sich heraus, daß ne zweite Platte bisher unbemerkt auch noch einen Knacks hatte.

Das RAID 5 mit Spare ist an der Stelle tot (zwei Platten ausgefallen und die Spare hat keine Daten). Das RAID 6 funktioniert noch (zwei Platten ausgefallen aber die "Spare" ist voll integriert).

Bei 6 Platten hast du die Wahl zwischen RAID 6 oder RAID 5 ohne Spare. Das ist halt eine Wette. Wenn nie zwei Platten gleichzeitig einen Schaden bekommen, ist die zusätzliche Redundanz von RAID 6 nutzlos und du hast Speicherplatz verschenkt. Aber wenn doch dann ist die zweite Redundanzplatte u.U. Gold wert. Kommt auch drauf an wie sehr man bei den Backups schludert, wie oft die Backups gemacht werden und wieviel neue Daten so pro Tag anfallen die dann selbst bei täglichen Backups, noch nicht gesichert sind.

Unter /media kann ich ohne root-Rechte keinen Ordner erstellen, unter /media/user1234 genau so wenig...

Bei /media usw. muss ich passen, aber überall sonst ist es ja normal, daß man den Mountpunkt-Ordner selber anlegen muss.

Hallo zusammen,

ich hab jetzt gerafft, dass ein Mount-Punkt etwas vollkommen willkürliches sein kann, und somit hab ich einen meiner Wahl angelegt

Das RAID6 ist gemounted, in den Config- Files eingetragen, ob es beim Systemstart gemounted wird, weiß ich noch nicht, weil ich nochnicht rebooted hab, und dieses Mail Dingens hab ich auch konfiguriert - allerdings mit ssmtp (nicht mit postfix - und funktioniert sogar). Die Mailfunktion tut ihren Deinst, aber in Verbindung mit dem RAID noch nicht getestet.

Also wenn ich das als kleines Licht mal sagen darf, dann bin ich der Meinung, dass dieser Artikel live geschaltet werden kann.