Leibniz Extreme Scaling Award an VERTEX vergeben
Zum vierten Mal führte das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften den „Extreme Scaling Workshop“ zur Optimierung der anspruchsvollsten Programme auf dem Höchstleistungsrechner „SuperMUC“ durch. In einem sehr starken Feld setzte sich das Programm „VERTEX“ des Max-Planck-Instituts für Astrophysik durch. Im „Leibniz-Jahr“ 2016 vergab Arndt Bode, Leiter des LRZ, erstmals den „Leibniz Extreme Scaling Award“ an Andreas Marek für das VERTEX-Team.
Prof. Bode mit den Vertretern der vier Finalisten VERTEX, waLBerla, PSC und INDEXA
„Es ist unwürdig, die Zeit von hervorragenden Leuten mit knechtischen Rechenarbeiten zu verschwenden, weil bei Einsatz einer Maschine auch der Einfältigste die Ergebnisse sicher hinschreiben kann.“ Gottfried Wilhelm Leibniz, deutscher Mathematiker und Universalgelehrter, dessen Tod sich am 14. November dieses Jahres zum 300. Mal jährt, schrieb diesen Satz. Und er handelte. Ihm gelang als Erstem die Konstruktion einer Rechenmaschine, die alle vier Grundrechenarten beherrschte. Mit ihr konnte man Fließkommazahlen addieren, subtrahieren, multiplizieren und erstmals auch dividieren. Diese „Floating Point Operations“ sind immer noch das Maß der Dinge, wenn es um „knechtische Rechenarbeiten“ geht. Der Höchstleistungsrechner SuperMUC am Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften, schafft über 3.000.000.000.000.000 – in Worten: 3 mal 10 hoch 15 – davon in einer Sekunde, also über 3 Petaflops. Und das gleich zwei Mal, einmal in dem Rechnerteil, der 2012 in Betrieb ging und noch einmal im Ausbau „Phase 2“, der 2015 in Betrieb genommen wurde.
Mehrere Exaflop, tausend Mal mehr, also 10 hoch 18 dieser Rechenoperationen brauchte das Programm VERTEX während eines Laufes von einer Stunde und doch ist es das schnellste, das auf SuperMUC läuft. Dreizehn internationale Projektteams trafen sich in dieser Woche am Rechenzentrum in Garching, um gemeinsam mit den Experten des LRZ und der Herstellerfirmen der Hard- und Software ihre Programme für den SuperMUC gründlich zu durchleuchten und auf Spitzenleistung zu trimmen. Dafür zeichnete das LRZ das Team hinter VERTEX mit dem neugeschaffenen Leibniz Extreme Scaling Award aus. Ihnen und den anderen Teams gelang es, ihre Programme zu extremer Skalierung zu optimieren, d.h. so zu verbessern, dass bis hinauf in extreme Rechenanforderungen die Ausnutzung des Rechners optimal ist.
Vielfältige Anwendungsgebiete: Supernovae, Wettervorhersage, Medizin
VERTEX simuliert Supernovae, die gigantischen Explosionen, die das Leben massiver Sterne beenden und dabei ganze Galaxien für Wochen überstrahlen können. Dabei entstehen neben Neutronensternen und Schwarzen Löchern auch die Atome, aus denen die Erde und wir Menschen bestehen. Und es entstehen dabei möglicherweise auch messbare Mengen Neutrinos und Signale von Gravitationswellen. Natürlich sind auch die Wissenschaftler hinter VERTEX vom Max-Planck-Institut für Astrophysik auf der Suche nach diesen kürzlich erstmals nachgewiesenen Wellen.
Die anderen Programme tragen so illustre Namen wie HemeLB, waLBerla, LISO, MPAS, SWIFT, GADGET oder GHOST. Gar nicht geisterhaft sind die Wissenschaftlerinnen und Wissenschaftler, die dahinter stehen. Sie kommen aus den verschiedensten Ländern Europas und der Welt. Die Projekte sind in München und Erlangen zu Hause oder in Darmstadt, Greifswald, Dresden, London, Durham und Valencia. Auch die Anwendungsgebiete sind vielfältig.
MPAS ist ein Modell zur Wettervorhersage, das eine kilometergenaue Simulation sogar einzelner Alpentäler mit der großen weltweiten Wetter- und Klimaentwicklung kombiniert und so sehr genaue lokale Vorhersagen ermöglicht.
HemeLB und waLBerla sind sogenannte Lattice-Boltzmann-Codes. Was sich so abstrakt anhört, kann für manche von uns konkret lebensrettend sein. Mit diesen Programmen wird der Blutfluss im Körper, insbesondere in den gefährlichen Aneurysmen untersucht. Diese Aneurysmen sind Ausbuchtungen in den Blutgefäßen, die unter Umständen platzen können und dann Schlaganfälle und andere lebensbedrohliche Zustände auslösen. Ärzte müssen entscheiden, ob es gefährlicher ist, die Aneurysmen zu operieren oder abzuwarten. Diese Entscheidung ist sehr heikel. Simulationen sollen ihr eine bessere Basis geben. Zwar braucht man für diese Simulationen heute noch einen Supercomputer, aber in nicht allzu ferner Zukunft kann man die Berechnung dann in der Klinik durchführen und sich die Bilder sofort ansehen.
Extreme Scaling Workshops: Generalcheck für den SuperMUC
Seit einigen Jahren bieten die Rechnerexperten des LRZ die Extreme Scaling Workshops an, bei denen Programme, die schon sehr gut auf dem Höchstleistungsrechner laufen, dahin gebracht werden sollen, extrem gut zu skalieren. Das Ziel ist, möglichst große, reale Anwendungsfälle der Simulationen mit möglichst vielen der vorhandenen Prozessoren so effizient wie möglich rechnen zu können. Der Erfolg der gemeinsamen Anstrengungen rechtfertigt den Aufwand. So wurde in einem früheren Extreme Scaling Workshop das Programm SeisSol von Geophysikern der Ludwigs-Maximilians-Universität München so hervorragend optimiert, dass es bei der Supercomputing Conference 2014 für den „Gordon Bell Award“ als einer von fünf Finalisten nominiert wurde.
Für das LRZ ist der Workshop die Gelegenheit, den Höchstleistungsrechner selbst wieder einmal auf Herz und Nieren zu untersuchen. Weil der SuperMUC während dieser Tage und Nächte nur für diese Projekte zur Verfügung steht, die man sehr genau kennt und weil diese Programme den gesamten Rechner nutzen, kann man bei diesen Läufen sehr gut Probleme und Fehler im Rechner, d.h. in der Hardware, der Software, den Kommunikationssystemen, den Dateisystemen aufdecken und untersuchen. Das kommt dem anschließenden Betrieb mit vielen verschiedenen Programmen sehr zugute.
Auch für den Steuerzahler lohnt sich der Aufwand: die Verbesserungen der Programme sparen eine Menge Geld. Die optimierten Versionen der Programme, die den gesamten SuperMUC für ihre Forschung auslasten können, sparen so an Rechenzeit und Energie ein Viertel der Kosten. Bei den hohen Kosten eines solchen Forschungsgerätes und des Stroms für seinen Betrieb summieren sich schnell ein paar Millionen CPU-Zyklen, die man sparen oder für andere Forschungsprojekte nutzen kann. Dies gilt auch ganz konkret für den Freistaat Bayern, der die meisten Projekte von bayerischen Universitäten, die am Workshop beteiligt waren, im Kompetenznetzwerk für wissenschaftliches Höchstleistungsrechnen in Bayern KONWIHR gefördert hat.
Leibniz Extreme Scaling Award goes to VERTEX
It was the fourth "Extreme Scaling Workshop" organised by the Leibniz Supercomputing Centre (LRZ) to optimise the most demanding programs running on LRZ’s supercomputer "SuperMUC". As 2016 is the "Year of Leibniz", Arndt Bode, Chairman of the LRZ, handed the new "Leibniz Extreme Scaling Award" to the VERTEX team, that made the most remarkable progress in optimising its code.
Gottfried Wilhelm Leibniz, who died on November 14th, 1716, was the first to construct a mechanical computing machine that was not only able to add, subtract and multiply, but also to divide floating point numbers. SuperMUC is able to perform 3,000,000,000,000,000 of these floating point operations in a single second delivering 3 Petaflops of peak performance. And LRZ has two of them, the SuperMUC Phase 1 from 2012 and the new SuperMUC Phase 2 that was put to operation in 2015.
VERTEX needs more than several Exaflop, 10 to the 18th floating point operations, during one single run of an hour. Nevertheless, it was the fastest program during the Extreme Scaling Workshop 2016 running on SuperMUC. 13 teams from international projects gathered in Garching near Munich to optimize their programs for SuperMUC together with the experts from LRZ and the hardware and software vendors. This achievement was honored with the newly created Leibniz Extreme Scaling Award. VERTEX and the other teams succeeded in optimizing their codes to extreme scaling so that they now can exploit SuperMUC’s huge compute power to the extreme with optimal efficiency.
Applications from Divers Research Fields: Supernovae, Weather Forecast, Medicine
VERTEX is used to simulate supernovae, those gigantic explosions ending the existence of massive stars that can shine brighter even than galaxies for weeks thereby producing neutron stars, black holes and all the atoms from which the earth and men are composed. And there should also be generated measurable amounts of neutrinos and signals of gravitational waves. Of course, the scientists behind VERTEX from the Max Planck Institute for Astrophysics are on the hunt for these waves that have been detected for the first time recently.
The other programs carry names like HemeLB, waLBerla, LISO, MPAS, SWIFT, GADGET oder GHOST. No ghosts but very real humans are the scientists writing them. They originate from many different countries all over Europe and the world. The projects are hosted at Munich and Erlangen, Darmstadt, Greifswald, Dresden, London, Durham and Valencia. Also the areas of application are very divers.
MPAS uses a great mesh of worldwide weather and climate prediction and fine mesh simulations to create a model to forecast the local weather even of single valleys in the alps with excellent precision.
HemeLB and waLBerla are Lattice Boltzmann Codes. While sounding abstract it may soon be saving human lifes. The blood flow is simulated using these programs, especially in aneurysms, those very dangerous balloon like bulges in the walls of blood vessels, that might rupture and lead to life threatening bleeding. Physicians have to decide whether it is better to remove the aneurysm or to leave it. This is a very delicate decision and simulations help to make them on a better basis. Today, they need a supercomputer for these simulations. But not for too long these computations will be possible at the hospital and the images can be inspected immediately.
Extreme Scaling Workshop: Function Check for SuperMUC
Since 2011 LRZ organises the Extreme Scaling Workshops to optimise the programs that already run well on its supercomputer so that they run with extreme scaling. The objective is to run realistic, huge use cases with as many processor cores as possible as efficient as possible. And it is worth the effort. In an earlier workshop the geophysical simulation SeisSol from Ludwig-Maximilians-Universität in Munich could achieve excellent performance and made it to one of the five finalists of the "Gordon Bell Award" at the Supercomputing Conference 2014.
The workshop also is a thorough function check. During the workshop SuperMUC is available exclusively for the participants. The programs are deeply understood and problems can be investigated with precision not possible in normal operation to detect any faults in hardware, software, communication or file systems. This helps to improve normal operation with many different applications running at the same time.
And the effort is worth the money. Improving the efficiency of the simulations saves budget. The optimised versions of the huge programs using the most of SuperMUC at once need only one fourth of time and energy after the optimisation. Thus, taking into account the enormous costs of operating such a big computer there will well be saved some Million cpu cycles that may now be spent on other research projects. This is true especially for Bavaria that pays half of SuperMUC’s costs and supports most of the projects from Bavarian universities participating in the workshop through the competence network for scientific supercomputing in Bavaria KONWIHR.