Die Datenschätze Europas heben

Big Data: Werkzeuge für das Vereinheitlichen von Datenformaten
und für den Datenaustausch in Europa. Foto: M. Spiske/Unsplash

Daten treiben Wissenschaft und Forschung voran: EXA4MIND, ausgeschrieben Extreme Analytics for Mining Data Spaces, heißt ein neues europäisches Forschungsprojekt aus dem Horizon-Europe-Programm , das bis Ende 2025 eine Plattform für die Nutzung, Analyse und den Austausch von Big oder besser: Extreme Data aufbaut. Das Leibniz-Rechenzentrum (LRZ) ist an EXA4MIND beteiligt. Das Projekt wird vom langjährigen Forschungspartner, dem IT4Innovations National Supercomputing Center in Tschechien koordiniert. „EXA4MIND bereitet eine Reihe von Vorzeigeanwendungen vor“, erklärt Dr. Stephan Hachinger, der am LRZ das Team Forschungsdaten-Management leitet. „Das Projekt soll Big Data aus heterogenen Speicher-, Datenbank- und Managementsystemen harmonisieren und verfügbar machen. Es ermöglicht die Verarbeitung von Daten auf europäischen Supercomputern, auf Systemen für Verfahren von Künstlicher Intelligenz oder mit Hilfe von Cloud-Diensten.“

Die Verarbeitung von Massendaten oder Extreme Data wird zwar in der Wissenschaft und in der Wirtschaft laut propagiert, doch sie bereitet Unternehmen und Forschenden viele technische Probleme: So muss etwa eine Fahrassistenz Informationen aus unterschiedlichen Quellen – etwa von Verkehrsdiensten, von Sensoren oder Kameras am Auto, von Wetter-, Kartografie- und weiteren Diensten verarbeiten können. Diese liegen aber in vielfältigen Formaten und Datenbanksystemen bereit, müssen folglich erst vereinheitlicht und für Supercomputer oder für Systeme der Künstlichen Intelligenz aufbereitet werden. Dafür entwickelt EXA4MIND Software, Werkzeuge, Workflows und Schnittstellen. Außerdem sollen die Datensätze sowie die damit berechneten Ergebnisse nach den FAIR-Prinzipien nutzbar, recherchierbar und wieder zu verwerten sein und möglichst noch in bestehende europäische Datenspeicher und -Plattformen wie die European Data Spaces, EUDAT oder die European Open Science Cloud (EOSC) fließen können. Das LRZ verantwortet bei EXA4MIND das Management von Daten in verteilten Speichern und Datenbanken.

Beim Entwickeln der Technologien konzentriert sich EXA4MIND auf die vier wirtschaftlichen Bereiche autonomes Fahren, digitale Landwirtschaft, Simulationen der Molekulardynamik sowie die Verarbeitung von öffentlich verfügbaren sozialen Daten. Kooperationen mit Unternehmen, die solche Daten erheben und verarbeiten, sind eingeplant. „Wir bringen Datenbanken, Supercomputing, European Open Research Data Management, Big Data und Künstliche Intelligenz zusammen, um die Datenverarbeitung voranzutreiben“, sagt Hachinger. EXA4MIND ergänzt zudem das EU-Projekt LEXIS, das im vergangenen Jahr mit dem erfolgreichen Aufbau einer Daten- und Workflow-Plattform endete. LEXIS bietet nun die Infrastruktur, um Datensätze aus Forschung und Industrie mit dem am besten passenden High Performance-System in Europa zu verarbeiten und die dafür notwendigen Datenflüsse automatisiert zu steuern. EXA4MIND nimmt indes riesige Datenmengen und effiziente Analysetechnologien in den Fokus, verbindet außerdem moderne Datenbanksysteme mit dem Supercomputing. Das LRZ baut dabei auf Erfahrungen aus LEXIS und weiteren Projekten rund um die Datenintegration, etwa für die Nationale Forschungsdaten-Infrastruktur (NFDI).

Forschende und Tüfltler:innen: Das EXA4MIND-Team arbeitet an neuen Werkzeugen
zur Verarbeitung von Forschungsdaten. Foto: EXA4MIND