Aber richtigen wir das ganze mal für Nagios ein, wichtig ist, das wir eine grafische Auswertung der Performancedaten haben (zum Beispiel PNP) wer das nicht hat braucht an dieser Stelle nicht mehr weiter lesen, da ein “Monitoring” der Werte nicht geplant ist.

Wir schieben also unser Script nach /root/script/ und machen es ausführbar. Das BIND und rndc richtig konfiguriert sind setze ich einfach einmal wieder voraus. Noch eine letzte Warnung: Sämtliche Pfadangaben beziehen sich auf Gentoo, alternativ einfach die Pfadangaben ändern. Im folgenden Ablauf generieren wir eine alte Statistik die das Script dringend braucht aber beim ersten Mail nicht selbstständig anlegt (das es keine Fehlerprüfungen gibt erwähnte ich bereits).


rndc stats
cd /var/bind/
mv named.stats oldnamed.stats


Jetzt binden wir das ganze wieder wie gewohnt in SNMP ein (ich erwähne nicht das man SNMPD danach neustarten sollte):

exec check_dnssf /root/script/dnsstat.py


Nagios
Auf Seiten von Nagios brauchen wir natürlich ein passendes Script, die Datei nennen wir check_snmp_dnsstat:

#!/bin/bash

/opt/nagios/libexec/check_snmp -H $1 -P 1 -C public -o .1.3.6.1.4.1.2021.8.1.101.7 -u queries | /bin/awk -F\" '{print $2}' | /bin/awk -F\: '{print $1" "$2" "$3" "$4" "$5" "$6" | Success="$1" Failure="$2" Recursion="$3" Referral="$4" Nxrrset="$5" Nxdomain="$6}'

Hier wieder ein Hinweis auf gestellte Fallen, ob man feste Pfadangaben verwenden sollte, muss natürlich jeder selbst wissen. Wie das als Command in Nagios eingebunden und dann päter auf einem Server angehangen wird ist bekannt.

PNP
Im Beispiel wird PNP so konfiguriert das wir wie bei dnsgraph aus dem sechs Werten drei Grafiken bekommen. Das PHP Template sieht dafür so aus:

$opt[1] = "--vertical-label queries/hour -l0 --title \"$hostname / $servicedesc\" ";
$def[1] = "DEF:success=$rrdfile:$DS[1]:AVERAGE " ;
$def[1] .= "DEF:failure=$rrdfile:$DS[2]:AVERAGE " ;
$def[1] .= "AREA:failure#009900:\"Failure \" " ;
$def[1] .= "GPRINT:failure:LAST:\"%6.2lf last\" " ;
$def[1] .= "GPRINT:failure:AVERAGE:\"%6.2lf avg\" " ;
$def[1] .= "GPRINT:failure:MAX:\"%6.2lf max\\n\" " ;
$def[1] .= "LINE2:success#000099:\"Success \" " ;
$def[1] .= "GPRINT:success:LAST:\"%6.2lf last\" " ;
$def[1] .= "GPRINT:success:AVERAGE:\"%6.2lf avg\" " ;
$def[1] .= "GPRINT:success:MAX:\"%6.2lf max\\n\" ";

$opt[3] = "--vertical-label queries/hour -l0 --title \"$hostname / $servicedesc\" ";
$def[3] = "DEF:nxrrset=$rrdfile:$DS[5]:AVERAGE " ;
$def[3] .= "DEF:nxdomain=$rrdfile:$DS[6]:AVERAGE " ;
$def[3] .= "AREA:nxdomain#ff00ff:\"Nxdomain \" " ;
$def[3] .= "GPRINT:nxdomain:LAST:\"%6.2lf last\" " ;
$def[3] .= "GPRINT:nxdomain:AVERAGE:\"%6.2lf avg\" " ;
$def[3] .= "GPRINT:nxdomain:MAX:\"%6.2lf max\\n\" " ;
$def[3] .= "LINE2:nxrrset#006699:\"Nxrrset \" " ;
$def[3] .= "GPRINT:nxrrset:LAST:\"%6.2lf last\" " ;
$def[3] .= "GPRINT:nxrrset:AVERAGE:\"%6.2lf avg\" " ;
$def[3] .= "GPRINT:nxrrset:MAX:\"%6.2lf max\\n\" ";

Auch das ist wieder nur ein Entwurf, das lässt sich noch prima näher an dnsgraph anpassen, mal davon abgesehen das die im Template genannte Angabe queries/hour so nicht stimmt (dazu müssten die Daten umgerechnet werden). Bei uns wird das alle fünf minuten abgefragt, von daher sind die Angaben für fünf Minuten. Und wenn wir nun alles richtig gemacht haben, schaut das nach einiger Zeit so aus:

/root/script/check_mpt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

#!/bin/sh
#
# This script checks
#
# - RAID Status
# - Drive Status
#
# on a DELL SAS5i RAID Controller.
#
# returns 1 if RAID error was detected, 2 if DISK error was detected
#
# Q-MEX Networks info aet q-mex.net
# 2007-11-22
# mpt_cli binary location
MPTCLI=/usr/sbin/mpt-status
# get complete status
STATUS_CONTROLLER=`$MPTCLI`
# check for RAID status
STATUS_RAID=$($MPTCLI | grep vol_id\ 0 | sed s/,//g | awk '{print $(NF-2)}')
if [ $STATUS_RAID != "OPTIMAL" ]; then
STATUS_RAID="CRITICAL"
exit 1
fi
# check for disk status
STATUS_DISKS=$($MPTCLI | grep phy\ | sed s/,//g | awk '{print $(NF-2)}')
if [ ! -z $(echo "$STATUS_DISKS" | grep -v "^ONLINE$") ]; then
STATUS_RAID= "CRITICAL"
exit 2
fi
if [ $STATUS_RAID == "OPTIMAL" ]; then
STATUS_RAID="OK"
fi
#STATUS_RAID="CRITICAL"
echo $STATUS_RAID

Es wird natürlich die mpt-status Binary gebraucht, die es sogar in Portage unter dem Namen gibt. Allerdings gibt es einen Stolperstein:

Wird nur der Fusion MPT SAS Treiber in den Kernel eingebunden, taucht die “Fusion MPT misc device (ioctl) driver” Option garnicht auf, die uns ein /dev/mptctl zur Verfügung stellt. Erst wenn zusätzlich der SPI oder FC Treiber zumindest als Modul mit eingebunden wird, taucht diese Option erst auf.

Wir legen eine check_mailq Datei an:

#!/bin/bash
/usr/bin/mailq | tail -n 1 | awk -F\ '{print $5}'


Passen die snmpd.conf an:

exec check_mailq /root/script/check_mailq


Nagios
Im Nagios libexec Verzeichnis legen wir eine check_snmp_mailq an:

#!/bin/bash

/opt/nagios/libexec/check_snmp -H $1 -P 1 -C public -o .1.3.6.1.4.1.2021.8.1.101.7 -w :$2 -c :$3 | sed 's/iso.3.6.1.4.1.2021.8.1.101.7/Mails/'

Das ganze ist natürlich PNP kompatibel. Unter Umständen muss natürlich die MIB angepasst werden (hier die 7). Wie das als Nagios Command hinterlegt wird ist in anderen Beiträgen ja schon beschrieben.

Heute: Nagios überwacht die Temperatur der Festplatten via SNMP

Wie immer, wenn es um SNMP geht beginnen wir wieder auf dem Server den wir überwachen wollen mit einem einfachen und billigen Script:

/root/script/check_smarttemp.sh
#!/bin/bash
smartctl -a -d3ware,$1 /dev/twa0 | grep Temperature_Celsius | awk '{print $10}'


Wie man hier wunderbar sehen kann, hängt die betroffene Festplatte hinter einen 3ware RAID Controller. Das Script muss noch entsprechend angepasst werden (Pfad RAID Controller, oder ohne RAID Controller). Die Variable $1 ermöglicht uns bei Aufruf die Platte anzugeben.

Das Script ist nun soweit fertig und wir können es in den SNMP Daemon aufnehmen:

/etc/snmp/snmpd.conf
exec check_smart_0 /root/script/check_smarttemp.sh 0
exec check_smart_1 /root/script/check_smarttemp.sh 1


Hierüber können wir nun 2 Festplatten via SNMP überwachen, das lässt sich natürlich beliebig erweitern. Wie man dann auf die SNMP OIDs kommt werde ich hier nicht erklären da ich wie immer die Grundkentnisse voraussetze.

Der Nagios Server
Im libexec Ordner von Nagios schreiben wir ersteinmal ein angepasstes Plugin (das folgendes nicht wirklich Standardkonform ist, ist bekannt)

check_snmp_smart.sh
#!/bin/bash
MIB=$(($2+5))

/opt/nagios/libexec/check_snmp -H $1 -P 1 -C public -o .1.3.6.1.4.1.2021.8.1.101.$MIB -w :$3 -c :$4 | sed 's/iso.3.6.1.4.1.2021.8.1.101.'$MIB'/Temp/'

Dieses Script sogt dafür das man die Festplattennummer direkt in der Service Config anwählen kann. Es setzt natürlich voraus, das es entsprechend angepasst wird (OIDs) zudem sollte man auf allen Servern eine identische snmpd.conf benutzen, damit die OIDs nicht verschoben werden.

Das neue check Command legen wir nun als Kommando fest:

define command {
command_name check_smarttemp
command_line $USER1$/check_snmp_smart $HOSTADDRESS$ $ARG1$ $ARG2$ $ARG3$
}


Und als Service erstellt sieht das dann so aus:

define service{
use 5minute-service
host_name server
service_description Temperatur Platte 0
check_command check_smarttemp!0!35!45
}
define service{
use 5minute-service
host_name server
service_description Temperatur Platte 1
check_command check_smarttemp!1!35!45
}

Die erste Variable gibt die Festplattennummer am RAID Controller an und die beiden anderen Warn und Crit Temperatur. Das selbst geschriebene Plugin ist nur zu einem einzigen Zweck da (man könnte das auch direkt mir check_snmp.pl machen): Performance Daten für den Nagios PNP Aufsatz. Dann sieht das ganze dann nämlich so aus:

Aber lange Rede kurzer Sinn, nun zum eigentlichen Punkt:

Die Überwachung der 3ware Controller funktioniert aus einer Symbiose zwischen Nagios – SNMP – Bash – tw_cli (3ware Command- Line)

Fangen wir mal ganz unten an:

tw_cli
Ich setze jetzt einfach einmal voraus, das dies bereits installiert ist, wird bei den meisten Distris schon mitgeliefert (z.B. Gentoo) alternativ natürlich auf der Seite von 3ware zu finden.

Bash- Script
Das folgende Bash- Script beruht auf dem Grundgerüst von Markus Jaschen (mal vielen Dank an dieser Stelle) und wurde innerhalb weniger Minuten ein wenig verändert. Wie immer mal wieder keine Zeit gehabt und deswegen schnell etwas zusammengetackert, es sieht nicht schön aus, aber es funktioniert.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

#!/bin/sh 
# 
# This script checks 
# 
# - RAID Status 
# - Drive Status 
# 
# on a 3ware 7006-2 ATA RAID Controller. 
# 
# returns 1 if RAID error was detected, 2 if DISK error was detected 
# 
# Marcus T. Jaschen < rikman (@) gmail > 
# 2006-02-03 
 
# tw_cli binary location 
TWCLI=/sbin/tw_cli 
 
# controller name 
CONTROLLER=c0 
 
# get complete status 
STATUS_CONTROLLER=`$TWCLI /$CONTROLLER show` 
 
# check for RAID status 
STATUS_RAID=`echo "$STATUS_CONTROLLER" | grep "^u0" | awk '{ print $3; }'` 
 
[[ $STATUS_RAID != "OK" ]]  { 
STATUS_RAID = "CRITICAL" 
exit 1 
} 
 
# check for disk status 
STATUS_DISKS=`echo "$STATUS_CONTROLLER" | grep "^p[[:digit:]]" | awk '{ print $2; }'` 
 
[[ -z `echo "$STATUS_DISKS" | grep -v "^OK$"` ]] || { 
STATUS_RAID = "CRITICAL" 
exit 2 
} 
 
echo $STATUS_RAID 
 
exit 0

Das ganze schieben wir in eine Datei (z.B. /root/script/check_raid.sh), passen den Controller an ($CONTROLLER) und machen diese ausführbar. Das ganze können wir nun einmal mit /root/script/check_raid.sh testen (es sollte OK zurückgeliefert werden, wenn nicht: PANIK . . .).

SNMP
Nun können wir den Status lokal einsehen, ganz toll, aber irgendwie soll ja nun auch unser Monitoring- Server etwas davon mitbekommen. Also nutzen wir SNMP, damit können wir Kinderleicht den Status remote abfragen. Ich setze wiedereinmal voraus das etwas installiert ist, diesmal ist es Net-SNMP und die public community angepasst ist. Jetzt müssen wir nur noch folgende Zeilen in die /etc/snmp/snmpd.conf (oder wo auch immer sie liegen mag) hinzufügen:

exec check_raid /root/script/check_raid.sh

Natürlich muss auch eine passende rocommunity konfiguriert sein, damit unser Nagios- Server überhaupt diesen Server per SNMP abfragen kann. Zum Abschluss nur noch den SNMP- Dienst neustarten.

Nagios
Der letzte Schritt dieses kleinen HowTos, die konfiguration von Nagios. Mithilfe des Nagios Plugins “check_snmp” kann man folgendes command in der Konfiguration anlegen:

define command {
command_name check_raid
command_line $USER1$/check_snmp -H $HOSTADDRESS$ -P 1 -C public -o .1.3.6.1.4.1.2021.8.1.101.1 -r OK
}

Die lange Zahlenkette ist die sog. oid, wird diese per SNMP angerufen, wird unser Bash- Script aufgerufen und der Wert per SNMP zurückgeliefert. Diese oid lautet allerdings nur so für den ersten Eintrag in der snmpd.conf, weitere exec- Anweisungen haben eine fortlaufende oid. Nun brauchen wir nur noch den Hostservice für check_raid konfigurieren, zum Beispiel so:

define service{
use 5minute-service
host_name unser-server
service_description RAID Controller
check_command check_raid
}

Und fertig ist das ganze.

Bevor irgendwelche Beschwerden kommen: Ja, dieses HowTo setzt Grundwissen im Bereich Linux / SNMP / Nagios voraus, wer bereits das hier gelesen hat, es unbedingt braucht, aber die Grundkenntnisse nicht hat, kann diese sich ziehmlich schnell zusammenlesen, gerade im Bereich Nagios ist http://www.nagios-wiki.de eine ausgezeichnete Anlaufstelle.