Data Science Storage

Der Dienst Data Science Storage (DSS) umfasst die Bereitstellung einer zentralen, in die HPC, HPDA, AI und Cloud Umgebungen des LRZ integrierten, Speicherlösung für größere Datenmengen. Die Integration erfolgt über ein Hochgeschwindigkeitsnetz, welches die hochperformante Verarbeitung der Daten garantiert. Die Verwaltung der Zugriffsrechte erfolgt über ein Self-Service Portal und es ist möglich Daten mit beliebigen LRZ, LMU und TUM Nutzern und Nutzerinnen sowie beliebigen externen Personen zu teilen. Der Zugriff auf die Daten von außerhalb des LRZs erfolgt über Globus Online oder beliebiger, vom Kunden selbst in der LRZ Compute Cloud betriebener Tools. 

Hauptanwendungsfälle sind einerseits die kollaborative Verarbeitung von Daten auf den Compute und AI Systemen des LRZ sowie das Teilen oder Bereitstellen von Daten mit/für externen Personen, welche für Dienste wie LRZ Sync+Share, OneDrive, Google Drive, etc. zu groß sind. 

Bei Speicherbedarfen von mehr als 1-2 PB pro Jahr kann der Speicher auch im Rahmen eines gemeinschaftlichen Projektes mit dem Kunden auf Basis eines individualisierbaren Baukastensystems bereit gestellt werden. In diesem Fall ist der erste Schritt immer die Analyse der Anforderungen zusammen mit dem Kunden und die Erstellung eines individuellen Konzepts und Angebots. 

Im Service Level DSS Standard Tier erfolgt die Datenhaltung auf festplattenbasierten Speichersystemen. 

Für Anwendungsfälle, welche einen Speicher mit extrem kleinen Latenzen benötigen, wie z.B. Anwendungen aus dem AI und ML Umfeld, steht die sog. DSS AI Tier zur Verfügung. Hier werden die Daten auf extrem schnellen NVMe SSD Speichersystemen gehalten. 

Für Anwendungsfälle wie die längerfristige Aufbewahrung und Bereitstellung von kalten Daten steht außerdem die sog. DSS Archive Tier zur Verfügung. Hier werden die Daten auf Band (zwei Kopien in unterschiedlichen Rechenzentren) vorgehalten und nur auf explizite Anforderung wieder zurück in den Onlinebereich geholt.

Generelle Leistungen 

• Beratung bei der Bedarfsanalyse 
• Erstellen eines maßgeschneiderten Angebots auf Basis der Bedarfsanalyse 
• Unterbringung der Speichersysteme im Rechenzentrum
  → 19-Zoll Rack(s) in den Räumlichkeiten des LRZ 
  → Klimatisierung 
  → Stromversorgung über zwei unabhängige Stromkreise, nicht exklusiv 
  → Anbindung an die dynamische USV mit einer Notlaufzeit von mindestens 20 Sekunden 
• Überwachter Betrieb im Rechenzentrum 
• Betrieb und Administration 
  → Installation von Hard- und Software 
  → Pflege von Hard- und Software 
  → Einbindung in das LRZ HPC-Ökosystem 
• Support (inklusive Entstörung) via LRZ Servicedesk 
• Optionale Leistungen (gegen Aufpreis) 
  → Professionelle Datensicherung und Datenwiederherstellung unter Nutzung des LRZ ISP Backupsystems 

DSS on Demand (DSSOND) 

• Bereitstellung eines Speicherkontingents am LRZ eigenen DSS ab 
  → 20 TB für DSS Standard Tier 
  → 4 TB bei DSS AI Tier 
  → 60 TB bei DSS Archive Tier 

Die Mindestlaufzeit für einen DSS On-Demand Vertrag beträgt 1 Jahr und verlängert sich automatisch um ein weiteres Jahr, sofern nicht vor Vertragsablauf gekündigt wird. Das gebuchte Speicherkontingent lässt sich jederzeit einfach vergrößern. Die Bereitstellung des Speichers erfolgt i.d.R. am nächsten Werktag nach Auftragseingang. 

DSS Joint Project Offer (DSSJPO) 

• Beschaffung des Speichersystems inkl. Herstellersupport 
• Netzanbindung innerhalb des HPC-Backbones mit einer Bandbreite von mindestens 400 Gbit/s oder einem Vielfachen davon 
• Optionale Leistungen (gegen Aufpreis) 
  → Hierarchisches Storage Management unter Nutzung des LRZ ISP Archivsystems 
  → Einrichtung von regelmäßigen Snapshot-Sicherungen 

Die Mindestlaufzeit für einen Hosting-Vertrag für ein DSS System beträgt 5 Jahre. Danach kann der Vertrag jährlich verlängert werden, sofern für die verwendeten Hardwarekomponenten noch ein Wartungsvertrag mit dem Hersteller für den Verlängerungszeitraum abgeschlossen werden kann. 

Die Beschaffung der Hardware und Herstellerwartung erfolgt durch das LRZ über entsprechende Rahmenverträge. Die Systeme sind formal während der Vertragslaufzeit Eigentum des LRZ. 

Altsysteme können entweder innerhalb von 8 Wochen nach Ablauf des Hosting-Vertrags durch den Kunden am LRZ abgeholt werden, wodurch Sie formal in das Eigentum des Kunden übergehen, oder auf Wunsch durch das LRZ bzw. den Lieferanten gemäß den gesetzlichen Bestimmungen entsorgt werden. 

Verfügbarkeit 

Eine monatliche Verfügbarkeit des Service von mindestens 95% wird angestrebt.

Benutzungsrichtlinien 

Die dienste-spezifischen Nutzungsrichtlinien sind zu beachten.

Dieser Dienst wird den folgenden Nutzerklassen zur Verfügung gestellt. Hierbei sind von den einzelnen Nutzerklassen folgende Gebühren zu tragen: