Sparsames Exascale Computing made in Europe

Es soll möglichst sparsam sein und der Forschung viele neue Methoden bieten: Die europäischen Forschungsprojekte DEEP-SEA und REGALE liefern jetzt Software Stacks und Tools für ein nachhaltiges Exascale-Supercomputing in Europa. Was Forschende in den Software-Paketen erwarten können.

Data Centre Data Base (DCDB) ist ein Monitoring-Tool, das Umgebungs-, Betriebs- und Leistungsdaten von Sensoren in Rechenzentren und deren Hochleistungsrechnern sammelt. Entwickelt vom Leibniz-Rechenzentrum (LRZ) liefert das Open-Source-Programm die notwendigen Daten, um einerseits unterschiedliche Computerressourcen nachhaltig und energiesparsam zu betreiben. Andererseits zeigen DCDB-Informationen auf, wo Software oder wissenschaftliche Anwendungen an die Erfordernisse bestehende Hardware angepasst werden können, um effizienter ausgeführt zu werden. „Der Energieverbrauch wird maßgebend fürs Supercomputing und für Exascale-Systeme“, sagt Dr. Josef Weidendorfer, Leiter der Forschungsgruppe Future Computing am LRZ. „Während auf Hardware-Seite mit Acceleratoren wie GPU oder FPGA erste Lösungen zur Verfügung stehen, richtet sich jetzt der Blick auch auf Betriebssysteme, Programmierumgebungen und Anwendungen.“ 

Mehr Leistung durch Monitoring

Mit den Forderungen für mehr Energieeffizienz gewinnt Monitoring im High-Performance Computing (HPC) und in Supercomputing Zentren weiter an Bedeutung. Mit der Komplexität der dort installierten Ressourcen wächst der Bedarf an Kontrolle und Steuerung. Um weiterhin mehr Leistung zu erbringen und wachsende Datenmengen zu verarbeiten, integrieren Supercomputer neben den Central Processing Units (CPU) heute Graphic Processing Units (GPU), die Methoden der Künstlichen Intelligenz (KI) ermöglichen und zudem Berechnungen beschleunigen. Damit außerdem der CO2-Fußabdruck der Rechenzentren sinkt, muss die Energieaufnahme von (Super)Computern gedrosselt werden. Monitoring-Tools wie DCDB liefern die Grundlagen für Maßnahmen. Nicht umsonst spielte das Tool gleich in mehreren europäischen Forschungsprojekten eine Rolle, und zwar bei DEEP SEA und seinen Vorgängern, außerdem bei REGALE.

2021 gestartet liefern diese beiden nun praktische Ergebnisse: So legt DEEP-SEA einen integrierten Open Source Software Stack sowie die Programmierumgebungen für ein leistungsstarkes HPC der Exascale-Klasse in Europa vor, REGALE wiederum liefert die Werkzeuge, mit dem dieses nachhaltiger wird. An beiden Projekten arbeiteten neben der Ludwig-Maximilians-Universität sowie der Technischen Universität München auch Rechenzentren des Gauss Centre for Supercomputing (GCS) mit.

„Die DEEP-Projekte haben Hard- und Software-Technologien zusammengeführt, um heterogene HPC-Systeme effizienter zu gestalten, betreiben und anzuwenden“, fasst Projektkoordinator Hans-Christian Hoppe vom Jülich Supercomputing Centre (JSC) zusammen. „Der DEEP-SEA Software Stack integriert Programmiermodelle, APIs, Werkzeuge und Software-Bibliotheken, insbesondere die Abstraktion der Optimisation Cycles, die Unterstützung hierarchischer Speichersyteme und die Verwendung von CI/CD-Techniken wird für HPC-Systeme direkte Vorteile bringen.“ Aus weiteren Projekten werden diese ergänzt durch Technologien und Tools für die Organisation von flexiblen Speicherhierarchien und den schnellen Zugriff auf große Datenmengen wie sie gerade die Methoden der Künstlichen Intelligenz erfordern, außerdem innovative Netzwerk- und Verbindungstechniken für die Rechenanlagen.

Software für ein Modular aufgebautes HPC-System

Ausgangspunkt aller Entwicklungen der DEEP-Projekte ist die Modulare System Architektur (MSA), ein Konzept für den ersten europäischen Exascale-Rechner JUPITER, der in Jülich aufgebaut wird und noch 2024 in Betrieb gehen soll. Doch auch integrierte HPC-Systeme wie etwa SuperMUC-NG Phase 2 des LRZ, die im Gegensatz zu den modular aufgebauten Rechnern unterschiedliche Komponenten und Prozessorentypen in Tausenden von ähnlich aufgebauten Rechenknoten vereinen, können die erarbeiteten Werkzeuge und Technologien einsetzen. „Die in den DEEP-Projekten entwickelte Software ist Open Source“, erklärt Weidendorfer Grundsätzliches. „Sie wird außerdem über die gängigen HPC-Softwarepaket-Management Spack und EasyBuild veröffentlicht, so dass sie einfach installiert und genutzt werden kann.“ Im DEEP-Paket finden Rechenzentren sowie Anwender:innen eine Fülle von nützlichen Hilfsmitteln für den Betrieb von Supercomputern sowie für das Programmieren von Codes und Software. Die Palette reicht von der Programmierumgebung zu Monitoring- und Benchmarking-Tools. Neben Forschungseinrichtungen können und sollen auch Unternehmen, die HPC einsetzen und entsprechende Systeme betreiben, auf die DEEP-Technik zugreifen. Dabei schwingt die Hoffnung mit, dass Europas Forschungs- und Entwicklungsaktivitäten mit vergleichbaren Werkzeugen näher zusammenrückt: „Ziel war in der Tat auch, durch Verwendung eines gemeinsamen Software Stacks die Zusammenarbeit zu verbessern und die Föderierung europäischer HPC-Ressourcen zu unterstützen“, meint Hoppe. Finden sich auf den Supercomputern bekannte Tools, Datenbanken, Programmierumgebungen, fallen der Zugriff auf Ressourcen und der Datenaustausch leichter.

KI unterstützt HPC

Das Monitoring-Tool DCDB ist auch ein wichtiger Teil des Werkzeugkastens von REGALE. Bei diesem Forschungsprojekt stellten 16 Forschungseinrichtungen und Rechenzentren aus Europa aus bereits bewährter Open Source Software eine Tool-Chain zusammen, die energieeffizientes HPC unterstützt. „Traditionell wird im Supercomputing Software optimiert, um gleichzeitig Rechenzeit und Strom zu sparen“, sagt Dr. Georgios Goumas, Koordinator von REGALE und Professor an der National Technical University Athen (siehe Interview unten). „Neueste Computersysteme sind recht komplex und umfassen mehrere Hardwarekomponenten, von denen jede ein unterschiedliches Stromverbrauchsprofil und -verhalten aufweist. Hier kommt REGALE ins Spiel, unsere Tool-Chain unterstützt den energieeffizienten Betrieb und nimmt Benutzer:innen und Administrator:innen umständliche Aufgaben ab.“ So findet das Management von Rechenzentren Instrumente und Hilfsmittel, um beispielsweise Taktfrequenzen an die Auslastung der Systeme anzupassen oder den Energieverbrauch der Systeme stetig zu beobachten. Anwender:innen wiederum können mit REGALE-Werkzeugen Codes so programmieren, dass sie phasenweise weniger Energie verbrauchen, und effiziente, sparsame Workflows aufbauen. „Wir sehen eine zunehmende Komplexität und Heterogenität in den Systemarchitekturen, das erschwert Konzepte und Maßnahmen für Energieeffizienz“, meint Goumas. „Interessanterweise verbraucht KI nicht nur enorm viel Strom, sondern bietet auch Lösungen für die Energieverteilung im System. An diesen Punkten werden weitere Entwicklungen ansetzen.“  (vs)

„Die REGALE-Tool-Chain unterstützt einen automatischen und energieeffizienten Betrieb“

Das ist eine Crux beim Supercomputern: Sie brauchen zu viel Energie, um Forschungsdaten zu verarbeiten. Für Wissenschaft und Rechenzentren ist das nicht nur eine Kostenfrage, weltweit arbeiten Forschende und Computer-Spezialist:innen auch daran, den CO2-Fußabdruck beim High-Performance Computing (HPC) zu reduzieren. Nachdem auf Hardwareseite mit Beschleunigern wie Graphics Processing Units (GPU) oder Field Programmable Gate Arrays (FPGA) der Hunger nach Strom deutlich gedrosselt werden konnte, rückt nun die Software-Programmierung in den Fokus: Für das europäische Forschungsprojekt REGALE haben 16 Universitäten, Forschungseinrichtungen, Rechenzentren und Unternehmen aus bewährten Werkzeugen einen Software-Stack oder eine Tool-Chain zusammengestellt, durch die der Energiebedarf jetzt auch beim Rechnen und beim Programmieren sinken kann. Mit dabei: die Technische Universität München (TUM) und das Leibniz-Rechenzentrum (LRZ). Zurzeit kommt der Werkzeugkasten bei fünf wissenschaftlichen Pilot-Projekten zum Einsatz. Getestet wird dabei im Forschungsalltag, wie sich die REGALE-Tools bei der Steuerung von Hardware-Komponenten, bei der Programmierung und Optimierung von Anwendungen sowie bei der Auslastung von Supercomputern bewähren. Dr. Georgios Goumas, assoziierter Professor der National Technical University Athens (NTUA) und Koordinator von REGALE, sowie Dr. Eishi Arima, Informatiker an der Technischen Universität München (TUM), berichten von Zielen und Ergebnissen des REGALE- Projektes. 

REGALE soll mehr Energieeffizienz ins Supercomputing bringen, wurde dieses Ziel erreicht? Georgios Goumas: REGALE endet jetzt im März. Wir haben in den letzten drei Jahren eine offene, modulare und erweiterbare Architektur für den energieeffizienten Betrieb von Supercomputing-Einrichtungen definiert. Darüber hinaus haben wir diese Architektur mit alternativen Tool-Chains instanziiert, die von unseren Partnern in das Projekt eingebracht wurden, außerdem ein Framework implementiert, um Modularität und Interoperabilität für jedes Tool zu unterstützen, indem wir uns einfach an eine offene API halten.

Erarbeitet wurde ein Paket aus Open Source-Software zur Steuerung der Energieaufnahme – wie ist es entstanden? Goumas: Bei REGALE haben wir zwei verschiedene Strategien eingeschlagen: Die erste war die Implementierung von so genannten „Integrationsszenarien“. Für diese wurden verschiedene Tools zusammengeführt, die auf den Architektur-Ebenen System, Rechenknoten, Job einen energieeffizienten Betrieb unterstützen. Dieser Ansatz ist zwar für die eingesetzten Tools effektiv, lässt sich aber nicht ohne weiteres auf andere Werkzeuge übertragen. Daher haben wir noch einen zweiten Strategiepfad verfolgt, indem wir eine Kerninfrastruktur implementierten, die Modularität und Interoperabilität unterstützt, mit dem Ziel, jedes Tool mit minimalen Änderungen zu unterstützen.

Was erschwert eigentlich die Steuerung der Energieaufnahme in einem High-Performance Computing- oder HPC-System? Goumas: Energie ist das Produkt von Arbeit und Zeit. Um weniger Rechenzeit in Anspruch zu nehmen und gleichzeitig Energie einzusparen, werden im Supercomputing traditionell Software oder Anwendungen optimiert. Doch aktuelle HPC-Systeme sind recht komplex und beinhalten oft mehrere Hardwarekomponenten, die jede für sich unterschiedlich viel Strom für einzelne Aufgaben verbraucht. Sie sind also nicht energieproportional, das heißt, ihr Durchsatz, die tatsächlich geleistete Arbeit pro Sekunde, muss nicht unbedingt in direktem Zusammenhang mit der verbrauchten Energie stehen. Dieser Ansatz zur Optimierung des Stromverbrauchs beruht auf dem Konzept, die Komponenten der Computersysteme dazu zu bringen, nur die Energie zu verbrauchen, die für das Ressourcenprofil der ausgeführten Anwendung erforderlich ist.

Was können Systemadministrator:innen und auch Anwender:innen tun, um beim Supercomputing sparsamer mit Energie umzugehen? Goumas:  Nutzer:innen sollten zunächst verstehen, wie und wo ihre Applikationen Leistung und Skalierbarkeit aufbauen, wann genau sie Energie aufnehmen, und sie daraufhin anpassen. Dabei werden sie Kompromisse schließen müssen – etwa wie viel Rechenzeit bis zur Lösung nötig wird oder zur Stromaufnahme. Außerdem sollten sie den Energie-Fußabdruck eines Systems kennen, der sich – wenig überraschend – im Laufe eines Jahres, ja sogar innerhalb eines Tages ändern kann und von Bedingungen wie Wetter, dem Status des Stromnetzes und der Verfügbarkeit von erneuerbaren Energien und anderen Punkten abhängt. Administrator:innen hingegen haben mehr Kontrolle über das ganze System. Sie können fürs Energiemanagement Teile davon ein- oder abschalten oder Leistungen drosseln. Alle diese genannten Maßnahmen sind meiner Meinung nach komplex und vielleicht sogar ineffektiv. Genau hier kommt REGALE ins Spiel, die Tool-Chain unterstützt einen automatischen und energieeffizienten Betrieb und entlastet Anwender:innen sowie Administrator:innen von umständlichen Aufgaben. Die beiden Tools EAR und EXAMON zeigen speicher- oder kommunikationsintensive Phasen einer Anwendung auf und weisen diesen automatisch Energie zu, sie verringern in diesem Fall die Stromzufuhr der Rechenleistung, weil davon während dieser Phasen deutlich weniger benötigt wird.

Das Schema zeigt die Ebenen, auf denen die REGALE-Tools beim Stromsparen helfen.

Die REGALE-Tools sind vor allem für HPC-Zentren gedacht – wer sollte sich diese unbedingt auch anschauen und nutzen? Goumas: Unsere primäre Zielgruppe sind die Betreiber von Supercomputing-Zentren. Dr. Eishi Arima: Das Paket beinhaltet Software für die ganzheitliche Kontrolle eines Systems, etwa Data Centre Data Base, kurz: DCDB, und Examon, sowie Energieverwaltungstools auf Systemebene, etwa EAR und BEO. Diese werden natürlich von Site-Administrator:innen installiert und verwaltet. Einige Tools sind aber auch für Anwendungsentwickler:innen relevant. COUNTDOWN ist beispielsweise eine Bibliothek, die in MPI-Kommunikationsphasen Energie spart und mit Anwendungscodes verknüpft werden kann. Ein weiteres Beispiel ist die Melissa-Workflow-Engine, die bei der Realisierung effizienter Ensemble-Läufe hilft, die in modernen wissenschaftlichen Anwendungen häufig erforderlich sind.

Wurde die Software von REGALE schon irgendwo installiert – und wie hat sie sich bewährt? Goumas: Werkzeuge aus der REGALE-Toolchain gehören bereits zum Software-Portfolio einiger Supercomputing-Zentren, die an REGALE beteiligt waren. Der Integrationsprozess ist noch im Gange und wir sind optimistisch, dass wir einen effektiven und benutzerfreundlichen Software-Stack geliefert haben. Allerdings sind dafür noch einige Aufgaben offen.

Wie lassen sich die Werkzeuge in ein bestehendes System integrieren? Goumas:  Tatsächlich gibt es dabei mehrere Herausforderungen – Supercomputer sind riesige Maschinen, von denen erwartet wird, dass sie jederzeit stabil und funktionsfähig arbeiten, auch wenn sie von Hunderten, oft sogar Tausenden von Anwender:innen eingesetzt werden. Jede neue Tool-Chain muss daher gründliche Tests durchlaufen, um Stabilität, Sicherheit, Effektivität und mehr zu gewährleisten. Das gilt insbesondere für diejenigen Werkzeuge, die auf den Systembetrieb fokussieren und ein effizientes Ressourcen-Management unterstützen. Die Implementierung und das Zusammenspiel der Programme ist kein einfacher Prozess, aber wir arbeiten daran.

16 Partner, darunter Rechenzentren, Hochschulen, Software-Unternehmen aus ganz Europa, waren an REGALE beteiligt – wie lief die Zusammenarbeit? Was nehmen Sie davon mit? Arima: In der frühen Phase des Projekts haben wir uns darauf konzentriert, Anwendungsfälle zu sammeln, architektonische Anforderungen zu klären und den Entwurf für Integrationen zu definieren. An dieser Festlegung der Richtung und Ziele waren alle Partnerinstitutionen beteiligt. Sobald festgelegt war, was integriert werden sollte, planten wir die Zusammenarbeit und tauschten uns regelmäßig zum Fortschritt der Implementierung aus. Sobald diese ausgereift waren, wurden die Kooperationen ausgebaut. So wurde das Melissa-Tool zunächst in Pilot-Anwendungen integriert und erst später mit einer PowerStack-Integration kombiniert, um ein energiebewusstes Workflow-Management aufzubauen. Wir glauben, dass diese Art der hierarchischen inter- und intra-Task-Zusammenarbeit mit Top-Down- und Bottom-Up-Ansichten ein Schlüsselfaktor für Projekte dieser Größenordnung ist.

Das REGALE-Team hat sich auch mit der Powerstack-Community ausgetauscht: Was ist das? Arima: Die HPC Powerstack-Initiative wurde 2018 ins Leben gerufen, um ein ganzheitliches und erweiterbares Power-Management-Framework zu entwerfen, das wir als PowerStack bezeichnen. Mit der Community aus Experten aus Wissenschaft, Forschungslabors und Industrie haben wir online oder in persönlichen Treffen immer wieder Ideen ausgetauscht. Das REGALE-Team hat die grundlegende Strawman-Architektur und ihre Anwendungsfälle von der Community übernommen, sie überarbeitet und erweitert, um die REGALE-Toolchain abzubilden und um unsere Tools zu integrieren. So konnten wir Anwendungsfälle realisieren. Wir teilen jetzt unsere Aktualisierungen und Erkenntnisse aus den gesamten Verfahren mit der HPC Powerstack-Initiative, um Standardisierungsbemühungen voranzutreiben, die die Community leitet.

Wie geht es weiter? Energieeffizienz ist ja eigentlich eher ein Weg und kein Ziel, das für lange Zeit festgelegt werden kann? Goumas: In einer wachsenden Zahl von Rechenzentren bekommt Energieeffizienz heute höchste Priorität. Außerdem sehen wir eine zunehmende Komplexität und Heterogenität in den Systemarchitekturen. Das erschwert Konzepte und Maßnahmen. Interessanterweise ist Künstliche Intelligenz nicht nur eine Killer-Anwendung, die enorm viel Strom braucht, sondern bietet auch Lösungen für die anspruchsvolle Aufgabe der Energieverteilung im System. An diesen Punkten werden weitere Entwicklungen ansetzen. (vs)

   

Prof. Georgios Goumas (li) und Dr. Eishi Arima