Sicherheit im Rechenzentrum

25.000 Server auf 2000 qm übertragen pro Monat rund 300 Terrabyte Daten über eine 6 GBit/s Außenanbindung – so liest sich die Selbstdarstellung eines der größten Rechenzentren Europas. Besitzer dieses „Maschinenparks“ ist die 1&1 Internet AG. Klar daß Datensicherheit in in solchen Zentren ganz oben auf der Prioritätenliste steht. Und das mit gutem Grund – denn die Schäden die ohne Hochsicherheitsserverräume beispielsweise im Brandfall enttstehen könnten, sind kaum vorstellbar. Wir haben uns die Sicherheitsvorkehrungen eines modernen Rechenzentrums am Beispiel des 1&1 Zentrums genauer angesehen und stellen Ihnen die einzelnen Technologien in unserem illustierten Special vor:

Während sich einige Rechenzentren auf eine einfache Zugangskontrolle mit einem Magnetkartensystem beschränken, setzt 1&1 auf ein ganzes Paket an Sicherheitsfeatures, um dafür zu sorgen, daß nur befugte Personen in die Serverräume um somit direkt an die wertvollen Daten gelangen.

Zugangssicherheit

Vereinzelungsanlage: Vereinzelungsanlagen sind 1-Personen-Schleusen, die insbesondere verhindern, daß Zugangsberechtigte weitere, ungefugte Personen mitbringen und damit die Sicherheitsbarrieren umgehen. Nur eine Person kann die Vereinzelungsanlage passieren.

Magnetkartensystem: Ein Magnetkartensystem gleicht die auf der Magnetkarte des Mitarbeites gespeicherten Daten mit den Systemdaten ab. Dabei wird über Bodensensoren das Gewicht des Mitarbeiters bestimmt und nur bei Übereinstimmung der Zutritt gewährt. Ein Zugangscode muß als weiteres Sicherheitsmerkmal vom Mitarbeiter eingegeben werden.

Visuelle Kontrolle: In der der Vereinzelungsanalage findet auch eine optische Kontrolle statt. Eine Kamera erfaßt den Mitarbeiter und vergleicht die Daten mit einem gespeicherten Foto. So wird inbesondere verhindert, daß ein Codekartenverlust oder -diebstahl zum Sicherheitsrisiko wird.

Überwachungskameras: Über 150 Überwachungskameras sind im Rechenzentrum installiert und beobachten jede Bewegung an sicherheitskritischen Punkten.

Stromversorgung

Nichts ist so essentiell für ein modernes Rechenzentrum wie eine zuverlässige Stromversorgung. Auch wenn Stromnetzausfälle in der heutigen Zeit deutlich weniger häuft auftreten, müssen Rechenzentren für den Ernstfall gerüstet sein, um Datenverlusten und Hardwaredefekten vorzubeugen. Ein durchdachtes Versorgungskonzept ist nötig:

USV: Wenn die externe Stromversorgung eines Rechenzentrums ausfällt, übernimmt ein Batteriepuffer (USV) die lebenswichtige Versogung der Serverräume. Im 1&1 Rechenzentrum kommen drei USV-Anlagen mit einer Leistung von jeweils 1100 kVA zum Einsatz. Diese sind in der Lage, Stromausfälle von bis zu 17 Minuten zu überbrücken.

Dieselgenerator: Bei längeren Stromaufällen übernehmen leistungsstarke Dieselgeneratoren die Versorgung des Rechenzentrums. Diese sind innerhalb innerhalb weniger Sekunden einsatzbereit.

Technische Daten des 1&1 Rechenzentrums

USV:

• 1100 kVA je Block (derzeit 4)
• dynamisch vs. statisch (grössere MTBF, höherer Crest, höherer Kurzschlussstrom)
• generatorische Spannungserzeugung
• höherer Wirkungsgrad
• Gel Akkus (wartungsfrei)
• 17 Minuten Autonomiezeit

Energie-Verteilsystem:

• Ebenenredundanz
• Autonome Versorgungsblöcke
• Lastdatenerfassung für jeden Unterverteiler
• Netzanalyse mit Transientenerfassung vor und nach der USV
• N-Filter zur Filterung der dritten Harmonischen vom N-Leiter
• N-Leiter Überwachung, 4-polige Schalter
• Netzleitsystem zur Rekonfiguration mit Energiefluss-Darstellung und Fernsteuerung
• Statischer Schalter zum unterbrechungsfreien Umschalten beim Ausfall einer USV

Netzersatzanlagen

Vier MTU-Dieselaggregate

• 16 Zylinder 1800 kW Motor
• 2.400 kVA Generator
• Unterbringung in 4 Container je ca. 39t
• vorgewärmt
• 15 sek. bis Nennlast
• Treibstoffleitung doppelwandig und begleitbeheizt
• Überlaufleitung
• Ventilstationen ausserhalb der Netzersatzanlagen
• 400 l Diesel pro h
• 2.000 l Tagestank je Netzersatzanlage, 40.000l Reservetank
• Treibstofflieferung innerhalb einer Stunde

Notstromkonzept:

• Fällt die Stromversorgung durch die Stadtwerke aus, erfolgt die Versorgung aller Rechner zunächst über drei USV Anlagen aus Batterieblöcken mit einer Leistung von je 1100 kVA
• Kapazität für mehr als 17 Minuten
• Eine vierte USV läuft als Reserve parallel
• Beim Ausfall einer USV erfolgt die ausfallsfreie Umschaltung auf die Reserve über Thyristor-Schalter, sog. Static Switches
• USVen überbrücken die Anlaufzeit der vier 16 Zylinder Diesel Motoren Typ MTU (permanent vorgewärmt)
• NEAs produzieren nach etwa 15 Sekunden genügend Strom für alle Systeme, einschließlich der Klimaaggregate
• über 400 Liter Diesel pro Stunde für 2.000 kVA
• intelligente Netzleittechnik umgeht Mehrfachdefekte (beispielsweise während eines Versorgungsausfalls durch die Stadtwerke kann ein Trafo, ein Generator und eine USV ausfallen; die Last wird weiterhin unterbrechungsfrei versorgt)
• Selbst wenn ein Stromausfall länger als 24 Stunden dauern würde, kann der Betrieb aufrecht erhalten und der Reservetank über örtliche Lieferanten nachbefüllt werden

Brandschutz

In modernen Rechenzentren mit mehreren tausend oder gar zehntausend Rechnern muß man immer auf den Brandfall vorbereitet sein. Die Zeiten, in denen ein Handfeuerlöscher auf den Fluren die einzige Sicherheitsmaßnahme darstellte sind vorbei:

Argon Löschgasanlage

Das Edelgas Argon kommt in den Löschgasanlagen der meisten Rechenzentren zum Einsatz. Erkennen die Sensoren einen Brand, wird der betroffene Serverraum mit dem Löschgas geflutet. Argon entzieht der Raumluft den Sauerstoff und damit dem Brandherd seine Nahrung. Argon ist ungiftig und beinträchtig den Betrieb der Server nicht. Handelt es sich beispielsweise um einem lokalen Brand eines Serverracks, können alle anderen Server ihren Betrieb ungehindert fortsetzen.

Infos zum Branschutz im 1&1 Rechentrum:

• Argon Löschanlage (ungiftig, Sauerstoff-Verdrängung auf ca.13%)
• Redundante Alarmierung im Brandfall
• Durchgängig F90
• Halogenfrei Kabel mit Funktionserhalt im Brandfalle (E90)
• Türoffenzeit-Begrenzung mit Alarmauslösung
• Über 120 Kameras inner- und außerhalb des RZ
• Direkt-Aufschaltung der Alarmanlagen auf Polizei und Feuerwehr
• Brandfrühsterkennung

Klimasicherheit

„Server mögen es kühl“ – ist die Devise, der jedes Rechenzentrum folgen muß. Gut gekühle Hardware funktioniert zuverlässiger und hat eine deutlich höhere Lebensdauer. Klimasicherheit bedeutet daher: konstant niedrige Raumtemperatur – egal bei welchen Außenbedingungen:

Klimatisierung

Moderne Rechenzentren verfügen über ein ausgeklügeltes Kühlsystem, das mit Redundanzen auch in Ausnahmessituatioen die gewünschte Temperatur hält.

Klimatisierung am Beispiel des 1&1 Rechenzentrums:

• 5 bis 6 Umluftkühlgeräte pro Raum
• 400 bis 500kW Kälte pro Raum
• 104.000 bis 130.000 m³/h pro Raum
• n+1 Redundanz
• Kaltwassersätze und Freikühler
• Matrixverrohrung
• Ausfall einer Leitung oder eines Ventils betrifft nur max. ein Gerät pro Raum
• Redundante Pumpengruppe (a 3 Pumpen)
• Differenzdruckregelung
• Leckagewarnsystem
• Sprührohrentgasung
• Druckhaltung/Nachfülleinrichtung
• Redundantes Steuerungssystem mit Visualisierung

Backbone

„Backbone“, was englisch so viel wie „Rückgrad“ heißt, sind schnelle Übertragungsleitungen im Internet, die inbesondere die verschiedenen Providernetze miteinander verbinden. Moderne Rechenzentren verfügen meist über Anbindungen an mehrere, unabhängige Backbones. Selbst bei Ausfall eines Carriers kann so die Internetanbindung aufrecht erhalten werden.

Die obenstehende Grafik zeigt die Anbindung des 1&1 Rechenzentrum. Das Rechenzentrum verfügt über mehrere Anbindungen im Gbit/s Bereich.

Angaben von 1&1 zur Anbindung:
Gute Verbindung – Der Europa-Ring:

• Kantendisjunkt und knotendisjunkt
• Trassenführung
• „stabiler“ Carrier
• Local Loop zu den CIXen

Standorte:

• Karlsruhe
• Paris
• London
• Amsterdam
• Frankfurt
• München
• (New York)

Austauschpunkte:

• LINX
• AMSIX
• DE-CIX
• MAE-FFM
• INXS
• (SFINX)

Auch das Rechenzentrum interne Equipment spielt eine große Rolle bei der Zuverlässigkeit der Anbindung. Manche Rechenzentren garantieren eine Anbindungsverfügbarkeit von 99,9%. Diese ist nur zu erreichen, wenn alle Verbindnungen redundant ausgelegt sind und der Aufall einzelner Komponenten keinen Einfluß auf die Stabilität der Backboneverbindung hat.

Herstellerunabhängigkeit

Das 1&1 Rechenzentrum in Karlsruhe setzt auf Redundanz bis ins letzte Detail. Neben der Doppelauslegung der Leitungen setzt man auch bei den Netzwerkkomponenten auf Dopplung. Alle Komponenten sind sowohl vom Hersteller Cisco als auch vom Hersteller Juniper vorhanden. Damit sichert man sich gegen herstellerabhängige Fehlerquellen ab.

Datensicherung

Gegen den Aufall von Festplatten gibt es nur eine Medizin – die regelmäßige Sicherung des gesamten Nutzdatenbestandes. In der Regel wird eine solche Sicherung täglich auf Bänder durchgeführt.

Sicherungsroboter

Im 1&1 Rechenzentrum werden sämtliche Server täglich auf Backupserver gesichert. Die Backupserver werden von einem Bandroboter mit Bändern versorgt, um die Daten darauf speichern zu können. Diese vollautomatische Sicherung macht einen Datenverlust in größerem Umfang fast unmöglich.

Fakten der 1&1 Rechnerräume

• Platz für 25.000 Server
• 3 Rackreihen
• bis zu 24 Racks/Reihe
• bis zu 120 cm tief
• 660 Racks gesamt
• bis zu 80 Rechner pro „Rack“
• 4 bis 6 KW pro Rack
• Versorgung aus drei unabhängigen Blöcken
• Überspannungsfeinschutz direkt am Rack

Dieser Artikel entstand mit inhaltlicher Unterstützung der 1&1 Internet AG. Eine redaktionelle Einflußnahme besteht nicht.