"Best Pratice" bei redundanten Netzteilen und USV(s)?

[Sebastian Suchanek]

Hallo NG!

Ich hätte da mal eine Frage, über die es sich sicherlich auch trefflich
streiten läßt. :-)

Gegeben ist folgende Situation: Hier steht ein 19"-Schrank, in dem
hauptsächlich drei Server und ein RAID-Subsystem stecken. Alle sind
jeweils mit redundanten Netzteilen ausgerüstet. Die Systeme sowie die
jeweiligen Netzteil-Nennleistungen sind folgende:

- RAID: 12x S-ATA-HDDs 7k2 - 750W
- Server 1: 1x Xeon 5130 (2*2GHz), 2 HDDs 7k2 - 650W
- Server 2: 1x Xeon E3-1220 (4*3,1GHz), 2 HDDs 7k2 - 450W
- Server 3: 1x Xeon 5140 (2*2,33GHz), 6 HDDs 10k - 600W

Dazu kommt dann "Kleinkram" in Form eines 24-Ports-GBit-Switches und
zwei Mediakonverter. Im Normalbetrieb liegt die Gesamtstromaufnahme laut
USV (s.u.) bei ca. 800-900W.

Mittelfristig möchte ich mir da stromversorgungstechnisch noch
mindestens die "Luft" für ein NAS freihalten.

Im Schrank ist außerdem eine "Line interactive"-USV von APC mit 3kVA
eingebaut. An der hängen die o.g. Geräte mit jeweils *beiden* Netzteilen
- was ich persönlich nicht besonders geschickt finde, weil dann bei
Ausfall (oder auch nur Wartungsarbeiten an) der USV alles tot ist.

Nachdem die USV momentan ohnehin zickt und Ersatz notwendig wird, bin
ich am überlegen, wie man das Gesamtkonstrukt möglicherweise besser
machen könnte. Folgende Möglichkeiten sind mir eingefallen:

1. So lassen, wie es ist:
+ kostengünstige Lösung
- USV ist "Single Point of Failure"

2. Je ein Netzteil auf die USV und eines direkt ans öffentliche Netz
+ kostengünstige Lösung
+ zumindest Wartungsarbeiten an der USV sind problemlos möglich
+ Falls die USV im "Normalbetrieb" ausfallen sollte, laufen die
Server zumindest auf öffentlichem Netz weiter
- wenn ausgerechnet beim Netzausfall die USV stirbt, ist doch wieder
alles tot.

3. Zwei USVs, jeweils ein Netzteil auf eine der beiden USVs
+ Schützt vor Netzausfall *und* Ausfall einer USV
- Teuer (ich brauche ja 2x die volle Leistung)
- Shutdown-Mechanismen evtl. knifflig zu konfigurieren (muß ich mir
aber nochmal näher anschauen.)

Man könnte jetzt noch argumentieren, daß die Netzteile leistungsmäßig eh
nie ganz ausgeschöpft werden (die akkumulierte TDP der CPUs sind z.B.
"nur" 210W...) und man realistisch z.B. auch mit einer bzw. zwei
2,2-kVA-USV(s) hin käme.

Und jetzt endlich die Fragen an Euch: ;-)
Welche USV-Konfigurationen habt Ihr unter ähnlichen Rahmenbedingungen im
Einsatz und warum?
Habt Ihr weitere Meinungen und/oder Vorschläge zu meinen o.g.
Konfigurationen?


Tschüs,

Sebastian

[Christoph Schmees]

Post by Sebastian Suchanek
Hallo NG!
Ich hätte da mal eine Frage, über die es sich sicherlich auch
trefflich streiten läßt. :-)
Gegeben ist folgende Situation: Hier steht ein 19"-Schrank, in
dem hauptsächlich drei Server und ein RAID-Subsystem stecken.
Alle sind jeweils mit redundanten Netzteilen ausgerüstet. Die
- RAID: 12x S-ATA-HDDs 7k2 - 750W
- Server 1: 1x Xeon 5130 (2*2GHz), 2 HDDs 7k2 - 650W
- Server 2: 1x Xeon E3-1220 (4*3,1GHz), 2 HDDs 7k2 - 450W
- Server 3: 1x Xeon 5140 (2*2,33GHz), 6 HDDs 10k - 600W
Dazu kommt dann "Kleinkram" in Form eines 24-Ports-GBit-Switches
und zwei Mediakonverter. Im Normalbetrieb liegt die
Gesamtstromaufnahme laut USV (s.u.) bei ca. 800-900W.
Mittelfristig möchte ich mir da stromversorgungstechnisch noch
mindestens die "Luft" für ein NAS freihalten.
Im Schrank ist außerdem eine "Line interactive"-USV von APC mit
3kVA eingebaut. An der hängen die o.g. Geräte mit jeweils
*beiden* Netzteilen - was ich persönlich nicht besonders
geschickt finde, weil dann bei Ausfall (oder auch nur
Wartungsarbeiten an) der USV alles tot ist.
Nachdem die USV momentan ohnehin zickt und Ersatz notwendig wird,
bin ich am überlegen, wie man das Gesamtkonstrukt möglicherweise
+ kostengünstige Lösung
- USV ist "Single Point of Failure"
2. Je ein Netzteil auf die USV und eines direkt ans öffentliche Netz
+ kostengünstige Lösung
+ zumindest Wartungsarbeiten an der USV sind problemlos möglich
+ Falls die USV im "Normalbetrieb" ausfallen sollte, laufen die
Server zumindest auf öffentlichem Netz weiter
- wenn ausgerechnet beim Netzausfall die USV stirbt, ist doch wieder
alles tot.
3. Zwei USVs, jeweils ein Netzteil auf eine der beiden USVs
+ Schützt vor Netzausfall *und* Ausfall einer USV
- Teuer (ich brauche ja 2x die volle Leistung)
- Shutdown-Mechanismen evtl. knifflig zu konfigurieren (muß ich mir
aber nochmal näher anschauen.)
Man könnte jetzt noch argumentieren, daß die Netzteile
leistungsmäßig eh nie ganz ausgeschöpft werden (die akkumulierte
TDP der CPUs sind z.B. "nur" 210W...) und man realistisch z.B.
auch mit einer bzw. zwei 2,2-kVA-USV(s) hin käme.
Und jetzt endlich die Fragen an Euch: ;-)
Welche USV-Konfigurationen habt Ihr unter ähnlichen
Rahmenbedingungen im Einsatz und warum?
Habt Ihr weitere Meinungen und/oder Vorschläge zu meinen o.g.
Konfigurationen?

Wenn ich du wäre, würde ich eine der beiden Varianten
#1 ein Strang an USV, ein Strang am lebenden Netz, oder
#2 jeden Strang an eigene USV
wählen.
Bei der Versorgungssicherheit, die unsere Netze üblicherweise
bieten, finde ich Variante 1 völlig ausreichend. Es sei denn, du
wohnst auf dem Lande am Ende einer langen Stichleitung, an der
auch Gewerbebetriebe mit Großverbrauchern hängen :-). Da kann es
schon mal /brown outs/ geben, was Elektronische Geräte nicht so
gerne mögen ...
Variante 2 ist natürlich teurer, nicht nur in der Anschaffung,
sondern auch im Unterhalt: Die Akkus wollen ja alle paar Jahre
erneuert werden. Dafür hat sie den Charme, völlig symmetrisch zu
sein, und noch einmal sicherer. Die Shutdown-Konfiguration sehe
ich als unproblematisch an: Wenn das Netz ausfällt, merken das
beide USV. Das bedeutet, es reicht, eine der beiden zur
Signalisierung an die Rechner anzuzapfen, die herunterfahren
sollen. Klar, damit verlassen wir den Pfad der Symmetrie, aber:
so what? Irgendwo passiert das ohnehin. Und mit nur einer USV
würde es ja auch gehen. Also, da würde ich mir keine Sorgen drum
machen.

hth, Christoph

[Norbert Hahn]

Sebastian Suchanek <***@suchanek.de> wrote:

[...]

Post by Sebastian Suchanek
Im Schrank ist außerdem eine "Line interactive"-USV von APC mit 3kVA
eingebaut. An der hängen die o.g. Geräte mit jeweils *beiden* Netzteilen
- was ich persönlich nicht besonders geschickt finde, weil dann bei
Ausfall (oder auch nur Wartungsarbeiten an) der USV alles tot ist.
Nachdem die USV momentan ohnehin zickt und Ersatz notwendig wird, bin
ich am überlegen, wie man das Gesamtkonstrukt möglicherweise besser
+ kostengünstige Lösung
- USV ist "Single Point of Failure"

Diese Lösung finde ich schlecht, wenn man alle 3 Monate die Funktions-
fähigkeit der USV testen will und dazu den Akku leert, bis die USV
abschaltet.

Zwei USV?
Welche Sicherheit/Verfügbarkeit wird *an dieser Stelle* angestrebt?
Welche anderen Redundanzen, z.B. örtlich getrennt, gibt es?

Norbert

[Juergen Schroeder]

Post by Norbert Hahn
Diese Lösung finde ich schlecht, wenn man alle 3 Monate die Funktions-
fähigkeit der USV testen will und dazu den Akku leert, bis die USV
abschaltet.

Das machen die nicht-schlechten USVs eigentlich selber regelmässig, nur
nicht bis zur Vollentladung. Und man kann es mit den zugehörigen
Überwachungsprogrammen interaktiv machen.
Zur Sicherheit sollte man dann einmal im Jahr, oder wenn die Akkues älter
sind den von dir genannten Test machen.

Jürgen

[Juergen Schroeder]

Post by Sebastian Suchanek
3. Zwei USVs, jeweils ein Netzteil auf eine der beiden USVs
+ Schützt vor Netzausfall *und* Ausfall einer USV
- Teuer (ich brauche ja 2x die volle Leistung)
- Shutdown-Mechanismen evtl. knifflig zu konfigurieren (muß ich mir
aber nochmal näher anschauen.)
Man könnte jetzt noch argumentieren, daß die Netzteile leistungsmäßig eh
nie ganz ausgeschöpft werden (die akkumulierte TDP der CPUs sind z.B.
"nur" 210W...) und man realistisch z.B. auch mit einer bzw. zwei
2,2-kVA-USV(s) hin käme.
Und jetzt endlich die Fragen an Euch: ;-)
Welche USV-Konfigurationen habt Ihr unter ähnlichen Rahmenbedingungen im
Einsatz und warum?

In dem wichtigen Rack 4 Server 4 Online-USVs, nach Methode 3.

Shutdown ist ganz simpel: Der Server hört genau auf eine der beiden USVs
an denen er angeschlossen ist. Die 2. USV ist nette Zugabe.
A) Wenn die 1. USV keine Spannung bekommt meldet sie es und der Server fährt
runter. (Normalerweise bekommt dann USV2 auch keine Spannung.) Gut.
B) 1. USV geht kaputt und meldet es nicht rechtzeitig dem Server, dann läuft
der über die 2. USV einfach weiter
C) 2. USV geht kaputt, macht nix

Post by Sebastian Suchanek
Habt Ihr weitere Meinungen und/oder Vorschläge zu meinen o.g.
Konfigurationen?

Einen wichtiger Aspekt wurde vergessen, eine Online USV puffert die
Spannung. Wir haben hier immer mal wieder Spitzen drin. Und es gibt ab und
an Blitzeinschäge. Daher das 2. Netzteil nicht direkt ans Netz.

PS: 2 APC USVs SURT 1000 ... nach genau 25 Monaten verreckt. APC bietet
keine Reperatur sondern nur "kostengünstige Ersatzbeschaffung". Leider ist
die teurer als die Bestellung bei einem günstigen Händler.

Jürgen