staging.inyokaproject.org

Das wechselhafte Antwortverhalten des Portals in letzter Zeit sorgte für einigen Unmut. Allerdings nicht nur bei den Besuchern, sondern auch bei den Teams, welche den Betrieb von ubuntuusers.de und den anderen Communities, die auf den Ubuntu-EU-Servern 🇬🇧 gehostet werden, gewährleisten. Nachdem bereits der Stand der Dinge aus Sicht des Webteams erläutert wurde (Inyoka: Probleme und deren Lösungen) stellte nun auch das Server-Team die Situation in seinem Aufgabenbereich dar.

---

Bis Oktober 2007 verfügten die verschiedenen Portale über den klassischen Aufbau eines Web- und eines Datenbank-Servers für die Verwaltung und Darstellung der eigenen Webseiten. Um mehr Ausfallsicherheit und eine bessere Leistung zu erreichen, wurde zu diesem Zeitpunkt der Umstieg auf zwei Webserver mit Lastverteilung beschlossen. Diese sollten auf ein NAS (Network attached Storage) als Dateiablage und einen MySQL-Server als Datenbank zugreifen (siehe Bild). Ubuntu-fr.org 🇫🇷 migrierte bereits auf diese Umgebung.

Ungültiges Makro

Dieses Makro ist nicht verfügbar

Die Nutzung des NAS stellte uns bisher Noris Network zur Verfügung. Allerdings wurde dessen Belastung durch die europäischen Ubuntu-Communities so hoch, dass sie den kostenfreien NAS-Zugang zu Beginn diesen Sommers wieder strichen. Daraufhin beschaffte man einen zusätzlichen Server (Name: Nun), der über NFS den beiden Webservern als Dateiablage dienen soll.

Jedoch entsprach die Leistungsfähigkeit des neuen NFS-Servers nicht den Erwartungen. Ursache war ein Fehler im Hardy-Kernel, der zu einer Überlastung des RAID-Controllers führte. Auch hatte das von der französischen Community genutzte DokuWiki 🇬🇧 einige Probleme. Diese wurden aber ermittelt und den Entwicklern mitgeteilt.

Ubuntuusers.de migrierte daraufhin auf einen der beiden neuen Apache Webserver. Die freigewordene Maschine (Name: Asa) dient nun als NFS-Server unter Dapper, da diese Version das Kernel-Problem nicht aufwies.

Auch die zur Lastverteilung für die HTTP-Anfragen eingesetzte Software HAProxy 🇬🇧 sorgte für einige Probleme, die nach langer Ursachenforschung eingegrenzt werden konnten. Der Fehler wurde den Entwicklern mitgeteilt und wird hoffentlich bald bereinigt. Solange bleibt die betroffene Funktion von HAProxy (das Caching) ausgeschaltet.

Mit dem Start des neuen Portals von ubuntuusers.de traten dann neue Probleme auf. Da die Software Inyoka nun komplett Datenbanken einsetzt - das Vorgänger-Wiki bestand rein aus Dateien - wurde der Datenbank-Server (Name: Tilo) weiter an seine Belastungsgrenze getrieben. Zusätzlich sorgte ein neues Apache-Modul, das für Python benötigte mod_WSGI 🇬🇧, für weiteren Ärger.

Der Versuch, Tilo, den Datenbank-Server, mit zusätzlichen 2 Gigabyte Speicher aufzurüsten und gleichzeitig von

Ungültiges Makro

Dieses Makro ist nicht verfügbar

RAID5 auf

Ungültiges Makro

Dieses Makro ist nicht verfügbar

RAID1 umzustellen, schlug fehl; danach zeigte der Server ein seltsames Verhalten bis hin zur Instabilität. Selbst nach dem Versuch einer Neuinstallation trat keine Besserung ein. Also verschob man die Datenbanken vorübergehend auf Asa, den NFS-Server.

Erst kürzlich installierte man den Datenbank-Server komplett neu. Als Ursache der vorangegangenen Probleme konnte ein defektes Speicher-Modul identifiziert werden, dieses wurde entfernt und der Server auf insgesamt 6 GB Arbeitsspeicher erweitert. Die Konfiguration des MySQL-Servers wurde aufgeräumt und optimiert, sodass der Betrieb wieder aufgenommen werden konnte. Weiterhin konnte auch noch ein Fehler in der Forensoftware punbb 🇬🇧 der französischen Community gefunden und korrigiert werden. Auch das Webteam war nicht untätig und kam dem mod_WSGI-Problem auf den Grund und beseitigte es. Insgesamt sollten diese Maßnahmen einen stabilen Serverbetrieb garantieren. Beeinträchtigungen beim Surfen auf ubuntuusers.de und den Nachbar-Portalen sollten nun der Vergangenheit angehören.

---

Anmerkung: Die oben beschriebenen Vorgänge zogen sich über einen längeren Zeitraum hin und fanden auch teilweise zeitgleich statt, wodurch die Suche nach den ursächlichen Problemen natürlich nicht einfacher wurde.

Abschließend kann man jedoch sagen, dass sich hier ein guter Blick auf die Herausforderungen bietet, die der Betrieb einer Serverfarm für mehrere, voneinander unabhängige Communities bereit hält.

Ikhaya-Beitrag: Infos aus dem Serverteam

Super Arbeit! Aber eine Frage: Wieso wurde bei einem DB-Server überhaupt auf RAID5 gesetzt? Was für eine DB-Software wird denn verwendet?

Danke für die Info.

Aber das mit Noris find ich komisch. Wird denn uu jetzt immer noch bei Noris gehostet, also betraf das nur den NAS? Auch wenn der NAS kostenfrei war, so hätte man doch vor dem Angebot wissen können, dass die Ubuntu-Communities keine 50-Mann-Foren haben.

Gruß Dee

Dee schrieb:

Danke für die Info.

Aber das mit Noris find ich komisch. Wird denn uu jetzt immer noch bei Noris gehostet, also betraf das nur den NAS? Auch wenn der NAS kostenfrei war, so hätte man doch vor dem Angebot wissen können, dass die Ubuntu-Communities keine 50-Mann-Foren haben.

Gruß Dee

Wussten Sie auch, allerdings gab es unter anderem Probleme mit der von ubuntu-fr verwendeten Wiki-Software (DokuWiki), die das NAS mehr oder weniger abkratzen ließ (die Fehler sind dem Author der Software schon gemeldet worden). Am NAS hängen auch viele andere Kunden von Noris und die haben genausowenig wie wir keine Freude wenn der NAS-Server nicht rennt.

Dennis schrieb:

Super Arbeit! Aber eine Frage: Wieso wurde bei einem DB-Server überhaupt auf RAID5 gesetzt? Was für eine DB-Software wird denn verwendet?

Das war ein Fehler, was wir im Vorherein aber nicht wussten; wir brauchten einen SQL Server und RAID5 erschien uns am Sinnvollsten. Mit der Zeit hat der Datenbankserver sich aber als "Bottleneck" (Flaschenhals klingt irgendwie komisch 😉) herausgestellt und ein Teil des Tunings war eben das umstellen auf RAID1 was sich auch als sinnvoll herausgestellt hat.

MfG apollo13

Wie schon bei dem Webteam-Beitrag find ich es total interessant, sowas mal zu lesen bekommen, als kleinen Blick hinter die Kulissen. 😀

Moin, moin,

... fehler im Hardy-Kernel bzw. Dapper-Kernel hat den Fehler nicht...

Das interessiert mich und da würde ich gerne noch ein wenig mehr dazu erfahren. Wahrscheinlich tritt das Problem auch nur unter Last auf: Was genau muss man darunter verstehen? Bitte gebt uns noch Informationen in Bezug darauf.

Lefthanded Greetings Ice

hm, Hardy-Kernel hat Probleme mit einer Raid-Konfiguration (gelöst durch älteres Dapper), HAProxy, Apache-Modul WSGI, punbb. Ja, Opensource-Software läuft nicht immer ganz reibungslos. Ich bin absolut erleichtert, dass Probleme dieser Art auch bei kommerziellen Produkten vorkommen und dort die Kundenbetreuung sehr oft schlechter ist als die Hilfe der Communities in der Linux-Szene.

Von meiner Seite ein ganz großes Hut ab für das große Projekt, das ihr auf die Beine gestellt habt.

Jedoch entsprach die Leistungsfähigkeit des neuen NFS-Servers nicht den Erwartungen. Ursache war ein Fehler im Hardy-Kernel, der zu einer Überlastung des RAID-Controllers führte. Auch hatte das von der französischen Community genutzte DokuWiki 🇬🇧 einige Probleme. Diese wurden aber ermittelt und den Entwicklern mitgeteilt.

Den Satz hab ich einfach beispielhaft herausgegriffen: das klingt irgendwie einfach und gegeben, aber ich bin mir absolut sicher, dass da Tage, wenn nicht sogar Wochen an Schweiß und Arbeit drin stecken.

Vielen Dank, für eure Freizeit, für eure blank gelegenen Nerven. Ich hoffe da sehen die meisten über den einen oder anderen Blackout hinweg. b

Helden der Szene! Danke für euren Einsatz!

Sehr wichtiger und Informativer Beitrag. Danke!

Das war ein Fehler, was wir im Vorherein aber nicht wussten; wir brauchten einen SQL Server und RAID5 erschien uns am Sinnvollsten. Mit der Zeit hat der Datenbankserver sich aber als "Bottleneck" (Flaschenhals klingt irgendwie komisch 😉) herausgestellt und ein Teil des Tunings war eben das umstellen auf RAID1 was sich auch als sinnvoll herausgestellt hat.

Okay ☺ Das kam mir gleich komisch vor als ich das gelesen hatte. Und was für eine Software wird verwendet? MySQL?

Klasse Job. Nur weiter so. Das einzig nervige Problem in letzter Zeit ist eigentlich nur der 404 Error wenn man auf Eigene Beiträge klickt. Aber das hat ja mit den Servern nix zu tun. Ich bin sicher das Problem wir auch irgendwann behoben ☺

Erst kürzlich installierte man den Datenbank-Server komplett neu. Als Ursache der vorangegangenen Probleme konnte ein defektes Speicher-Modul identifiziert werden, dieses wurde entfernt und ...

Da sucht man sich natürlich nen Wolf ...

Vielleicht sollte man das nächste mal bei Problemen, von vorne herein, testweise den gesamten Speicher austauschen. Auch wenn es 4 oder 6 GB sind. Vielleicht findet sich ja nen Hardware-Händler, der Speicher zu Testzwecken mal ausleiht, oder so in der Art.

Ich darf sagen, ubuntuusers.de ist toll geworden und läuft bei mir seit Wochen einwandfrei und wunderbar.

Dennis schrieb:

Das war ein Fehler, was wir im Vorherein aber nicht wussten; wir brauchten einen SQL Server und RAID5 erschien uns am Sinnvollsten. Mit der Zeit hat der Datenbankserver sich aber als "Bottleneck" (Flaschenhals klingt irgendwie komisch 😉) herausgestellt und ein Teil des Tunings war eben das umstellen auf RAID1 was sich auch als sinnvoll herausgestellt hat.

Okay ☺ Das kam mir gleich komisch vor als ich das gelesen hatte. Und was für eine Software wird verwendet? MySQL?

Als SQL-Server wird MySQL verwendet, richtig. (Was aber ganz zufällig auch in dem im Beitrag erwähnten Bild zu sehen ist 😀)

Gruß, Christopher!

Was aber ganz zufällig auch in dem im Beitrag erwähnten Bild zu sehen ist 😀

urgs das hab ich aufm eeepc schlicht übersehen *schäm*

Hallo,

jetzt bin ich irritiert? Warum wurden meine Beiträge plötzlich gelöscht und ne 2. Seite gibt es auch nicht mehr?!? 😠

Ok. Bei einer plausiblen Erklärung will ich mich wieder beruhigen...

NACHTRAG: Hab mich schon beruhigt...