Energie und Wärme made by LRZ
So könnte es bald auf dem Dach des LRZ aussehen: Demnächst werden dort Photovoltaik-Paneele installiert. Foto: N. Marques/Unsplash
Die Bundesregierung bereitet gerade das Energieeffizienzgesetz vor – es wird den Betrieb von Rechenzentren in Deutschland stark beeinflussen. Denn dort ist, zugegeben, der Energieverbrauch sehr hoch, vor allem wenn dort Höchstleistungs-Computer arbeiten. Andererseits sind Supercomputing-Zentren wie das Leibniz-Rechenzentrum (LRZ) traditionell Vorreiter, wenn es darum geht, nachhaltige Lösungen zu entwickeln und den Energiebedarf zu senken. So hat das LRZ mit IBM und Lenovo ein zukunftsweisendes Heißwasserkühlsystem für seine Supercomputer entwickelt, das bald in weiteren Computersystemen zum Einsatz kommt. Zudem bezieht das Rechenzentrum seit einigen Jahren Strom aus erneuerbaren Quellen. Und bald wird es zum Stromproduzent: Auf den Bürogebäuden des LRZ in Garching bei München werden Photovoltaikmodule installiert: „Damit kann das LRZ seine Umwelt- und CO2-Bilanz deutlich verbessern“, freut sich Prof. Dieter Kranzlmüller, Leiter des LRZ. „Wir betreiben unsere Rechner schon seit über einem Jahrzehnt mit 100 Prozent erneuerbarer Energie. Mittlerweile können wir sogar auf die Zugabe von Frostschutzmitteln verzichten, was unseren Betrieb noch umweltfreundlicher macht. Wir nutzen die Abwärme zur Klimatisierung unserer Büros. Und in naher Zukunft werden wir unseren eigenen Strom produzieren.“
Autarkes Heizen mit Abwärme
Scheint die Sonne, werden die geplanten Solarpaneele in Spitzenzeiten bis zu 300 Kilowatt Energie liefern. Aufs Jahr gesehen dürfte sich das auf fast 300.000 Kilowattstunden summieren. Damit ließe sich der Strombedarf des LRZ decken – die Computing-Ressourcen ausgenommen. Beim Heizen ist das Rechenzentrum schon seit Jahren autark: 2012 wurde das damals neue Höchstleistungs-System SuperMUC erstmals mit Warmwasser gekühlt. Das LRZ hat dieses Kühlsystem gemeinsam mit IBM und Lenovo entwickelt und kontinuierlich optimiert. Heute ist es in vielen Rechenzentren weltweit im Einsatz. In den Racks des Nachfolgesystems SuperMUC-NG fließt Wasser mit einer Temperatur von bis zu 50 Grad Celsius und wird durch dessen Abwärme weiter erhitzt. Die so gespeicherte Wärme wird zum Heizen der LRZ-Büros genutzt, erzeugt aber mit Hilfe von Adsorptionsmaschinen noch Kaltwasser für ältere Computer-Systeme. „Wir könnten sogar Wärme in andere Gebäude auf dem Campus schicken", ergänzt Kranzlmüller. Dass die innovative Warm- oder besser Heißwasserkühlung sogar ohne Frostschutzmittel funktioniert, hat das Gebäudemanagement durch geschickte Modifikationen an Leitungen und Wasserspeichern sichergestellt.
Auch die kleineren Systeme wie das CoolMUC-Linux-Cluster oder das leistungsstarke Cerebras CS-2-System mit HPE Superdome Flex-Servern werden demnächt mit Warmwasserkühlung ausgestattet: „Aufgrund der aktuellen Energiekrise und staatlicher Vorgaben, Wärme aus nicht fossilen Brennstoffen zu nutzen, wächst das Interesse an unserer Abwärme in der Nachbarschaft", beobachtet Kranzlmüller. Der Forschungscampus in Garching, dem Sitz des LRZ, wird gerade ausgebaut, die Abwärme der Rechner bietet sich neben dem bestehenden Fernwärmenetz als weitere Quelle zum Heizen an. Um sie auszuliefern, muss sie auf bis zu 100 Grad Celsius erhöht werden. Dazu sind wiederum Wärmepumpen nötig - entweder am LRZ oder bei Abnehmern.
Betriebsdaten verbessern die Steuerung
Mit den beiden anderen Höchstleistungs-Rechenzentren des Gauss Centres for Supercomputing (GCS) sowie weiteren Forschungseinrichtungen arbeitet das LRZ daran, den Energiebedarf von Supercomputern zu drosseln und trotzdem deren Leistung zu steigern. Unter Volllast würde SuperMUC-NG rund 3.400 Kilowatt Strom aufnehmen. Doch meistens läuft das System mit einer reduzierten Taktfrequenz von 2,3 statt der möglichen 2,7 Gigahertz. Viele Anwendungen profitieren ohnehin nicht von einer höheren Taktfrequenz, so dass der Stromverbrauch durch diese Maßnahme im Jahresdurchschnitt um rund 30 Prozent sinkt. Ein besseres Job Scheduling senkt den Energiebedarf weiter. Für SuperMUC-NG setzt das LRZ auf das Energy Aware Scheduling (EAS). Dabei werden Aufträge so kombiniert, dass Speicher und Prozessoren so gut wie möglich ausgelastet werden. Weitere Tools fürs EAS werden gerade entwickelt, dabei liegt der Schwerpunkt auf dem Datentransfer innerhalb paralleler Systeme. Denn der frisst noch viel Energie.
Daneben setzt das LRZ auf Monitoring, Kontrolle und Künstliche Intelligenz (KI), um das High-Performance Computing (HPC) nachhaltiger und energieeffizienter zu machen: In den mehr als 6.480 Rechenknoten des SuperMUC-NG sammeln rund 15 Millionen Sensoren Daten über Leistung, Temperatur, die Auslastung einzelner Komponenten und den Umgang der Maschine mit Software und Anwendungen. Diese Betriebsdaten bilden die Grundlage für smarte Steuerungen oder zur Automatisierung weiterer Prozesse. Fürs Monitoring haben LRZ-Spezialist:innen die Open-Source-Software Data Centre Data Base (DCDB) und ein erstes System zur Analyse dieser Informationen entwickelt. Beides ist öffentlich zugänglich, wird mit anderen Supercomputing-Zentren diskutiert, modifiziert, verbessert und optimiert. Betriebsdaten sind auch relevant, wenn Software und HPC-Algorithmen besser auf einen Supercomputer abgestimmt oder optimiert werden sollen. Nicht zuletzt böte auch die Programmierung Möglichkeiten, den Energiebedarf zu senken, diese Effekte sind aber noch schwer abzuschätzen.
Tools fürs Monitoring:
Data Centre Data Base (DCDB) ist ein frei verfügbares und optimierbares Tool zur Sammlung von Betriebsdaten von Supercomputern. Ein erstes System für "Operational Data Analytics" (ODA) wurde ebenfalls am LRZ entwickelt.