Ich werde berichten.

Wir fühlen uns ja alle so wohl in Hannover, also wieder hin und die Maschine aus dem Rack gezogen. Im Büro angekommen ließ sich das Problem ganz schnell und einfach nachbauen, wieder einmal hat sich der SCSI Bus aufgehangen. Und wieder einmal folgte ein Telefonat mit IBM. Das erste was der IBM Techniker konnte, war sich darüber zu beschweren das er noch keinen DSA Report bekommen hatte und das es zu 100% daran liegt das wir kein Supportetes Betriebssystem einsetzen. Daraufhin habe ich ihm prohezeit, das wir das mit dem Supporteten Betriebssystem gerne einmal ausprobieren können, sollte aber dann der gleiche Fehler auftreten, ich persönlich in Stuttgart erscheinen würde und ihm die Maschine so lang im die Ohren hauen würde, bis eines von beiden zuerst nachgibt.

Dem Techniker also einen Haufen DSA Reports zugesandt (für jede Treiberversion einen . . das wurde während der Treiber Tests schon vorbereitet). Dem Techniker also am 5.1.2009 um 12:10 die Mail zugesandt, die Antwort erfolgte in absoluter Bestzeit am 6.1.2009 um 14:25 (da weiß man wieso man ein teures CarePack hat). Der Techniker könne nichts erkenne, meine aber das in einigen DSAs die falsche Treiber Version wäre, aber auch einige mit den richtigen Versionen. Unter anderem ist in den DSAs der Inhalt der Logs enthalten, der Techniker meinte nun das er in den Logs nichts erkennen könne und das es von daher keine Probleme gibt.

Mittlerweile ist das dritte Fass im gleichen Status wie die beiden zuvor. Jedes Kind (naja, jeder Admin Azubi) weiß, das wenn einem der SCSI Bus und damit sämtliche Block devices die der Server hat um die Ohren fliegen, man dann auch nichts mehr loggen kann. Diese einfache Logik ist IBM wohl nicht klar. Im Anhang der Mail befand sich ein Script, welches den ServRaid Controller auswerten soll. Die angehangene aacconf Binary war natürlich im Eimer, aber soetwas hat man ja selbstverständlich auf Lager. Also dem Herrn eine Antwort um 6.1.09 um 16:02 zukommen lassen.

Eine Antwort von IBM erfolgte um 17:21 Uhr desselben Tages, das ist nun wirklich Bestzeit, ich kann es noch garnicht glauben. Sicherheitshalber prüfe ich meinen Schlafzustand infolgedessen Wunschträume möglich wären. Techniker ist immer noch der Meinung das es am Betriebssystem liegt, ich solle es doch bitte einmal mit RHEL5 testen, würde dann der gleiche Fehler auftauchen, würde man das Systemboard und den RAID Controller tauschen. In weiser Vorraussicht habe ich bereits eine RHEL5 Testlizenz organisiert (wir selbst haben bis auf ganz ganz ganz ganz wenige Ausnahmen kein RHEL5). Die Installation begann.

IBM xSeries returns in: IBM xSeries AKT VII – Oder: Rote Hüte und IBM

Und wieder war die Maschine im Nirvana. Glücklicherweise gibt es IPMI sonst wäre ich vermutlich mittlerweile von den Kollegen im RZ mittels “Remote Würgegriff” gelyncht worden. Nun, auf ein neues, an den Treiberversionen kann es nicht mehr liegen, folglich muss es an den Treibern direkt liegen. Adaptec hat ja alles sauber dokumentiert, auf Grund dieser Dokumentation ein wenig am Treiber gefummelt (Queue Size geändert etc.) Maschine läuft, mache eine volle Initital- Synchronisation des DRBD Devices. Server läuft nun endlich stabil und der Fall wird zu den Akten gelegt. Um auf Nummer Sicher zu gehen noch schnell ein bisschen benchmarken: bonnie++ die Maschine erträgt alles mit fantastischen 0 – 220 Mbyte/s (die Werte springen relativ stark, auch für mehere Sekunden auf 0 und sehr oft auf irgendetwas unter 100 Mbyte/s). Beim rewriting: Maschine weg, dieses Mal sogar ein schwarzer Bildschirm. Naja, kann ja mal passieren, da hat sich bestimmt nur etwas verschluckt und nun läuft garantiert alles stabil. Damit endet für mich das Jahr 2008, ich gehe in die verdienten Feiertage und die Kollegen kümmern sich um den Bereitschaftsdienst.

IBM xSeries returns in: IBM xSeries AKT VI – Oder: Liebesgrüße aus Hannover

Da fiel mir doch ein Kabel auf, das ins Nachbar Rack ging (nicht unseres). Mein erster Gedanke war natürlich was da einer der Kollegen wieder gemacht hat, einfach unsere Kabel durch das Nachbarrack zu legen. Weit gefehlt, diese Kabel endete in einem Server des Nachbarn.

Man ist ja kollegial und lässt den Server dann weiterlaufen, alles andere könnte dem Kollegen ja schaden. Da seine Server wunderbar mit dem FQDN bezeichnet waren, habe ich am Dienstag einmal dort angerufen und bin ihm mal wieder viel zu viel entgegen gekommen. Am Donnerstag schon ein etwas strengerer Ton, da bisher immer noch nichts geschehen war. Nun heute eine letzte Email. Am Montag wird das dann entsprechend öffentlich behandelt.

Das interessante an den Telefonaten war sogar, das das ganze irgendwie sogar nach Vorsatz klang. Wir zahlen ja nun schon vierstellig Strom, aber eine GmbH mit nem halbvollen Rack sollte heutzutage doch noch den Strom selber zahlen können? Ich habe absolut nichts gegen Nachbarschaftshilfe, aber das ist einfach nur noch frech, vor allem die Reaktion nach dem netten entgegenkommen.

Unsere drei DNS Server sind natürlich gerecht auf diese Standorte verteilt. Des weiteren gibt uns der zuästzliche Standort weitere Möglichkeiten in die Hand noch besser auf die Wünsche unserer Kunden eingehen zu können, wie zum Beispiel im Bereich der Hochverfügbarkeit.

• QuadXEON 2,13 Ghz
• 8 GB RAM
• 2x 500 GB SATA
• Hardware RAID

Im Angebot wurde kein getrennter RAID Controller, sondern der Onboard ICH9R vorgeschlagen. So weit so gut. Die Platten waren nur als SATA150 angegeben von daher klang der Vorschlag diese einfach getrennt beim Großhändler zu bestellen sehr verlockend, mal davon abgesehen das die guten Seagate 24/7 Platten dort nur ein Sechstel kosten und HP sowieso Seagate überlabelt.

Lieferung
Bestellvorgang und Lieferung gingen insgesamt sehr schnell über die Bühne und nach wenigen Tagen befand sich das System in unserer Technik. HP Kennern wird im obigen Absatz schon das leichte Grinsen gekommen sein, das uns beim auspacken des Servers relativ schnell vergangen ist. Von anderen Lieferanten/Herstellern ist man es gewohnt das die Rahmen für die Festplatten zum Lieferumfang des Servers gehören, bei HP ist dies anders, da gehören die Rahmen zu den Festplatten. Leerrahmen bietet HP natürlich nicht an. Es gibt da zwar einen Lieferanten in Berlin, aber zwei Festplatten mit Rahmen kosten nur ganz wenig mehr als leere Rahmen, also zwei 80 GB Platten geordert.

Onboard RAID / ICH9R
Nun, man kann diese RAID Funktion unter Linux nutzen, man kann, aber das ist alles andere als schön mal davon abgesehen das man dann auf LVM verzichten muss. Es gibt da zwar einen günstigen RAID Controller von HP der sogar günstiger als einer von 3ware ist, zum einen ist hier aber wieder das Monitoring unter Linux fraglich und zum andern verfügt dieser Controller über keinen Cache. Also beim Großhändler einen 3ware Controller bestellt.

3ware Controller und HP ProLiant
3ware Controller funktionieren in Servern von DELL hervorrragend, in Servern von HP nicht. Dazu findet man, wenn man einmal einen 3ware Controller in einen HP Server eingebaut hat und nach der Fehlermeldung im Internet sucht, auch einen interessanten Thread im HP Support Forum. Jedenfalls darf sich der arme 3ware Controller nicht im BIOS verewigen weil dieses ihm zu wenig Speicher zur Verfügung stellt. 3ware kann es nicht nachbauen da sie keine HP Maschine haben und HP will es nicht ändern, da nach deren Meinung der Controller nichts taugt wenn er in 40% aller weltweit eingesetzten Server nicht funktioniert. Aber, es ist ja ein Testsystem also wird ganz einfach das eigene Rescue hochgefahren über das auch das RAID eingerichtet werden kann. Natürlich kann der Server, obwohl der Controller im BIOS zumindest als RAID Boot Device auftaucht, nicht von diesem booten. Aber der Server kann ja von USB booten, testweise eine USB Festplattte angeschlossen und GRUB auf diese verfrachtet, der Server fährt hoch.
Da aber nun ein Server mit hängender USB Platte im RZ doch ein klein wenig dämlich ausschaut, wäre da noch die Möglichkeit einen USB Stick zu verwenden, den man zudem am internen USB Anschluss verschwinden lassen könnte. Alle USB Sticks die wir auftreiben konnten, können zwar ReadyBoost, jeder Rechner bootet von diesen nur der HP Server nicht. Aber es gibt noch einen Geheimtipp: Eine miniSSD für den SATA Anschluss, die gibt es für wenige EUR und für GRUB reicht es. Nach diesem kleinen Upgrade fährt die Kiste nun anstandslos hoch. Die Activity LEDs für die Festplatten funktionieren natürlich auch nur wenn ein HP RAID Controller eingesetzt wird, außer man bastelt das notwendige Kabel selbst zusammen,

iLo2
Die bisherigen kleinen Minuspunkte gehen nun nicht wirklich auf das Konto von HP, eher auf das eigene. Aber der ProLiant sammelt mit iLo2 gewaltig Pluspunkte, dieser integrierte Chip lässt das Herz eines jeden Administrators höher schlagen, Reset etc. geht zwar auch mit DELLs IPMI, aber die Serielle Konsole ist das absolute “Non Plus Ultra”. Wer dann noch ein wenig Kleingeld übrig hat kann durch eine einfache Lizenz den Funktionsumfang noch einmal erweitern, wie zum Beispiel dann die KVM Funktion oder das einbinden von Medien (zum Beispiel iso auf Netzlaufwerk) als Laufwerk. Diese Punkte kann DELL nur mit der optionalen DRAC erfüllen.

Gehäuse / Montage im Rack
Für uns sehr wichtige Punkte sind immer die Beschaffenheit der Gehäuse und ganz besonders die Montage im Rack. Bei Chenbro ist das ein absoluter Reinfall gewesen und sieht trotz einiger Stunden die in die paar Systeme investiert wurden immer noch aus wie ……. (die Easy Mounting Rails sind in DE nirgendwo zu bekommen). Anders bei DELL, hier kann problemlos eine Person innerhalb weniger Minuten einen Server alleine montieren, ob nun einfache Versa Rails oder die Luxus Sliding Rails, die Montage geht einfach von der Hand und das Ergebnis überzeugt, praktisch wie auch optisch. Bei HP ist das Gehäuse gut aufgebaut, alles lässt sich gut verstauen und im Ernstfall lässt sich das Gehäuse um zwei weitere auf insgesamt vier Festplattenlaufwerke erweitern (SATA 3,5″). Als kleine Bonuspunkte wäre hier das ausziehbare “Papp Seriennummern Label” und der Torx Schlüssel der sich am hinteren Teil des Gehäuses befindet.
Die Montage im Rack ist in wenigen Minuten erledigt, gegenüber allen anderen Systemen die wir schon getestet haben, ein völlig neues Konzept, der Server wird einfach auf die mitgelieferten und vorher im Rack montierten “Winkel” geschoben, es wird hierbei nichts am Server selbst befestigt. Im Luxusbereich würde das natürlich Punktabzüge bedeuten da sich nicht der ganze Server “schwebend” herrausziehen lässt, aber da dies, so wie es gelöst wurde, absolut praktisch und funktionell ist, gibt es natürlich keine Punktabzüge.

Fazit
Der ProLiant DL320G5P überzeugt von Anfang an, alles ist gut überlegt und so wie es bei einem Server sein sollte. Besonderheiten wie iLo2 und die kleineren Dinge zusammen mit der einfachen und praktischen Montage im Rack runden das ganze System ab. Wenn man auf Fehler die man bei einem Testgerät ruhig einmal machen darf verzichtet, eben alle Komponenten von HP einsetzt, kann man auf ein solides und von Anfang an perfekt funktionierendes System bauen. Der Server verrichtet seit mehr als einer Woche nun seinen Dienst im RZ als XEM Dom0 für unsere Entwicklungen und Tests, die Performance ist dabei hervorragend. Und wir werden langfristig viel mehr Hardware von HP bestellen. Zum Zeitpunkt dieses Posts wurde bereits weitere Hardware für produktive Projekte geordert.

Zur Zeit setzen wir als Backuplösung BackupPC ein, BackupPC hat hier einige große Vorteile:

1. Managed Server Kunden können Backups Ihres Servers per Webinterface sehen
2. Dank hervorrragendem Pooling und guter Kompression wird eine Menge Speicherplatz gespart
3. Sichert via rsyncd alle Linux Server, ein paar Windows Server über DeltaCopy, den rest via CIFS

Das sind jetzt nur mal ein paar Vorteile die besonders für uns wichtig sind. Aber zu allem zu dem es Vorteile gibt, gibt es auch Nachteile:

1. Implementation von Windows- Sicherungen zwar OK, aber nicht perfekt. Auf den Windows Servern läuft vorher ein entsprechendes Script ab, welches die lokalen Daten sichert. (Exchange, MSSQL etc.)
2. Verbraucht durch Kompression und Pooling ungeheure Mengen an Ressourcen (ein Load von 8 auf einer DualCore Maschine bei nur einem Backup zur Zeit ist da keine Seltenheit)
3. Verbraucht durch Millionen von Dateien eine Menge Inodes
4. Kein IPv6

Der letzte Nachteil ist der absolut wichtigste. IPv4 Subnetze sind leider immer auf bestimmte Größen begrenzt und Backups extra über einen Router zu quälen ist alles andere als Optimal. Wobei man über RZ Aufbauten sowieso immer streiten kann. Man kann natürlich jeden Server mit einer privaten v4 IP ausstatten (10.XXX) aber optimal ist etwas anderes. Jedenfalls war dies einer der Hauptgründe für die schon letztes Jahr vorgenommene IPv6 Implementation. Unter anderem ist es bei einigen unserer Projekte wichtig, das sich die Server untereinander verständigen können, hier wieder einen Router zu verwenden wäre nur ein größerer Aufwand. Des Weiteren sind bei diesem Punkt die genutzten Bandbreiten so gering das eine zusätzliche Verkabelung Blödsinn wäre. Lang Rede kurzer Sinn, rsync kann zwar IPv6, aber BackupPC nicht. BackupPC dazu zu bewegen ping6 statt ping zu verwenden war noch nicht einmal das Problem. Problem ist die rsync Implementation, es wird ein spezielles Perl Modul verwendet, welches nur v4 kann. Verschiedene Versuche dies zu ändern endeten alles andere als Erfolgreich was unter anderem daran liegt, das wir niemanden haben der auch nur Ansatzweise gut Perl beherscht.

Bacula

Hier kommt Bacula auf den Plan, eine Software die Kenner ein klein wenig an Legato Networker erinnert, allerdings weniger als ein Italienisches Auto kostet: Nämlich nichts. Natürlich darf man bei den Kosten nicht Aufwand und benötigtes KnowHow für die Realisierung vergessen, das ist allerdings in diesem Fall kein Problem. Wenn man sich einmal Grundlegen durch die Dokumentation gewühlt hat, ist alles nur noch halb so schlimm. Wie bei jedem Produkt gibt es auch hier Vor- und Nachteile, die Vorteile:

1. Kann IPv6.
2. Sichert von Haus aus Windows Server mit entsprechendem Client.
3. Windows Client kann VSS und damit sogar einem Exchange die DB unter dem Hintern wegsichern.
4. Clients können vorher entsprechende Befehle ausführen (was bisher vorher über Taskplaner / Cron erledigt wird. Unter anderem ließen sich vorher einzelne Exchange Postfächer sichern statt der ganzen DB, was natürlich einen großen Nachteil bei einem komplett Restore hat.
5. Viel weniger Ressourcen auf dem Server notwendig, Komprimierung Clientseitig.

Nachteile:

1. Kein Pooling von Dateien (daher mehr Speicherplatz)
2. Keine Benutzerebenen (Sichern und Wiederherstellen kann NUR einer für alle)

Bacula läuft nun seit einigen Wochen im Testbetrieb und sichert einige ausgewählte Clients zusätzlich. Sobald dieser für den Produktivbetrieb freigegeben ist, gibt es Teil 2.