Datenschatz für Umweltwissenschaften und Forschende

Die terrabyte HPDA platform im LRZ Rechnerwürfel.

terrabyte ist die innovative Hochleistungsdaten-Plattform des Deutschen Zentrums für Luft- und Raumfahrt (DLR) und des Leibniz-Rechenzentrums (LRZ) der Bayerischen Akademie der Wissenschaften. Die Plattform macht Erdbeobachtungsdaten für die Forschung zugänglich und bietet praktische Werkzeuge zu deren Auswertung.

• terrabyte verbindet über eine 10 Gigabit/s-Leitung das Satellitendaten-Archiv des Deutschen Zentrums für Luft- und Raumfahrt (DLR) in Oberpfaffenhofen mit intelligent verwaltetem Online-Speicherplatz von rund 50 Petabyte sowie den Supercomputern des LRZ in Garching.
• terrabyte bietet eine Alternative zu kommerziellen Daten-Clouds und erfüllt alle Sicherheits- und Datenschutz-Forderungen.
• Die Daten von terrabyte sollen breit genutzt werden, neben dem DLR werden bald auch die Universitäten in München und Bayern darauf zugreifen.

Extremwetter, Dürren, schmelzende Gletscher, die Erosion der Küsten, sogar die Entwicklung von Städten: Zurzeit senden acht Copernicus Sentinel-, die US-amerikanischen Landsat sowie die Radar-Satelliten des DLR pro Tag rund 19 Terabyte an Daten über den aktuellen Zustand der Erde zu uns. Das entspricht in etwa 4750 Spielfilmen oder 123,5 Millionen Dokumentseiten. Forschende können aus diesem gigantischen Datenschatz unterschiedlichste Messwerte und Informationen ziehen. Sie finden darin Fakten zu Umwelt- und Klimafragen sowie Anregungen, diese zu beantworten.

Zusammen mit dem Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften baut das DLR eine innovative Hochleistungs-Analyseplattform namens terrabyte für die Auswertung globaler Satellitendaten auf. terrabyte verbindet inzwischen über eine 10 Gigabit/s-Leitung das Satellitendaten-Archiv des DLR in Oberpfaffenhofen mit neuem, intelligent verwaltetem Online-Speicherplatz von rund 50 Petabyte sowie den Supercomputern des wissenschaftlichen Rechenzentrums in Garching. Zur Erforschung historischer und aktueller Erdbeobachtungs-Informationen können damit größte Datensätze aus dem DLR-Archiv schnell zu terrabyte übertragen und auf der High Performance Data Analytics- oder HPDA-Plattform berechnet und modelliert werden.

Erdbeobachtungsdaten schnell analysieren

„Durch das terrabyte-Konzept werten unsere Wissenschaftlerinnen und Wissenschaftler riesige Datenmengen hoch effizient aus, ohne dass ihre Algorithmen in weniger geschützten Umgebungen laufen“, sagt Stefan Dech, Direktor des Deutschen Fernerkundungsdatenzentrums (DFD) am DLR. „Die Daten, die Satelliten etwa zur Urbanisierung oder zum Schmelzen der Gletscher und der Polkappen liefern, können in Zukunft sofort verarbeitet werden. Das ist ein Meilenstein für die Umweltforschung und die Fernerkundung der Erde. Wir rechnen mit einem enormen Wissenssprung.“ Davon sollen Umweltschutz, Gesellschaft und Wirtschaft profitieren. Für das DLR bietet terrabyte zudem eine Alternative zu den Daten-Clouds kommerzieller Anbieter, denn die Plattform erfüllt alle Sicherheits- und Datenschutz-Forderungen.

Den Kern von terrabyte bilden 10 Racks vollgepackt mit ThinkSystem SR630-Servern und unterschiedlich großen DSS-G-Speichersystemen von Lenovo. Zusammen bieten sie 49 Petabyte Speicherplatz. Die Organisation der Daten übernimmt das File-System Spectrum Scale von IBM, die Vernetzung der Bauteile mit Infiniband-Schnittstellen sorgt für äußerst schnelle Datentransfers zwischen Speicher und Rechenkapazitäten. „Wir übertragen intern die Daten mit 300 Gigabyte pro Sekunde, das eröffnet neue Möglichkeiten für ihre Prozessierung“, sagt Dieter Kranzlmüller, Leiter des LRZ. „Die Zusammenarbeit mit dem DLR ist auch für uns eine Herausforderung, bei terrabyte geht es nicht nur um sehr große Rechenkapazitäten, sondern vor allem um die Verarbeitung von Massendaten. Die Plattform zeigt außerdem die wachsende Bedeutung von Speichervolumen für die Forschung. In immer mehr Wissenschaftsbereichen sollen Daten heute unkompliziert erreichbar sein und idealerweise vor Ort verarbeitet werden.“ Um Forschungsergebnisse überprüfen oder diese weiterverarbeiten zu können, wird zunehmend ungehinderter Open Source-Zugang gefragt. Terrabyte ist die technische Umsetzung – die Hochleistungs-Plattform dient dem LRZ daher auch als Modell für weitere Speicher- und Compute-Angebote in anderen Forschungsbereichen und -institutionen.

Umwelt besser verstehen 

2020 investierte das DLR acht Millionen Euro in den Aufbau von terrabyte, das LRZ wiederum wird die HPDA-Plattform betreuen und warten. Mit weiteren Geldern des DLR wird terrabyte jetzt um Rechenkapazitäten erweitert, die Datenverarbeitung und Analysen insbesondere mit Methoden der Künstlichen Intelligenz ermöglichen. Die Satellitendaten des DLR sollen in Zukunft breit genutzt werden, neben dem DLR sollen bald auch die Münchner und bayerischen Universitäten auf terrabyte zugreifen.

Xiaoxang Zhu, Lehrstuhlinhaberin an der Technischen Universität München und Abteilungsleiterin am Earth Observation Center (EOC) des DLR, arbeitet schon seit Jahren mit Satellitendaten. Die Ingenieurin hat unterschiedlichste Algorithmen entwickelt, um Mega-Städte dreidimensional und mit höchster Genauigkeit darstellen zu können. Mit ihren Modellen lassen sich heute die Raum- und Stadtplanung oder der Katastrophenschutz optimieren – Forschungsarbeiten, die die Bayerische Akademie der Wissenschaften über die Mitgliedschaft Zhus im Jungen Kolleg der BAdW förderte. Leicht zugängliche Erdbeobachtungsdaten bringen auch die Umwelt- und Klimaforschung weiter, vereinfachen den Aufbau von Mobilfunk- und IT-Netzen oder belegen die Berechnung von Subventionen. Ein weiteres EOC-Team um Thomas Esch erstellt daraus außerdem den „World Settlement Footprint“ (WSF), quasi ein Vergleichs- und Kontrollinstrument zur Urbanisierung: Dafür werden Informationen zur Ausdehnung, Struktur und Entwicklung von Siedlungsflächen sowie zur Bevölkerungsdichte und -verteilung automatisiert ausgewertet. Wissenschaft, Politik und Wirtschaft bekommen durch den WSF wertvolle Hinweise, um etwa auf die Verelendung von Stadtteilen, auf Wetterveränderungen oder den Verlust von Biodiversität reagieren zu können.

Entwicklung von Städten über drei Jahrzehnte: Bangkok. Bild: DLR / EOC