CosmoSim-Datenbank für kosmologische Simulationen online
Die Website des CosmoSim-Datenbank.
Bild: AIPDie CosmoSim-Datenbank (www.cosmosim.org) ist nach einer intensiven Testphase nun allen Interessierten online zugänglich. Als Nachfolger der MultiDark-Datenbank (www.multidark.org), werden auf der Plattform Datenprodukte kosmologischer Simulationen veröffentlicht.
CosmoSim erlaubt den Zugriff auf sechs kosmologische Simulationen - inklusive einer hochaufgelösten Simulation von ausgewählten Regionen, die hydrodynamische Prozesse und Sternentwicklung einbezieht. Alle Simulationen sind unter Mitarbeit des Leibniz-Instituts für Astrophysik Potsdam (AIP) in verschiedenen internationalen Projekten entstanden.
Üblicherweise sind die Resultate kosmologischer Simulationen in Hochleistungsrechenzentren mit restriktiven Zugriffsmöglichkeiten hinterlegt und aufgrund ihrer Größe nicht komplett abrufbar. Mit CosmoSim können Wissenschaftler aus aller Welt die Daten jetzt abrufen, sie direkt auf dem Server filtern oder kombinieren und sie für ihre eigene Forschung nutzen.
Die verfügbaren Datenprodukte enthalten Kataloge mit Halos aus dunkler Materie, deren inneren Eigenschaften, Verschmelzungsprozessen, Informationen zum kosmischen Netz und für ausgewählte Zeitschritte sogar die Rohdaten zur Verteilung der Simulationsteilchen, die tiefergehende Untersuchungen der Dunkle-Materie-Halos und ihrer Umgebung erlauben. Alle Simulationen und Datenbanktabellen werden mittels eines modernen Webinterface zur Verfügung gestellt. Eine umfangreiche Dokumentation mit Hintergrundinformationen zu Datenbankstrukturen sowie Bilder und Filme der Simulationen komplettieren das Angebot.
Die immer bessere Auflösung kosmologischer Simulationen führte zu ansteigenden Datenmengen, so dass die einzelnen Tabellen den Terabyte-Bereich erreichen. Durch die Erforschung neuer Datenbanktechnologien ist es gelungen, Rohdaten von Simulationen mit fast 60 Milliarden Simulationsteilchen direkt in der CosmoSim-Datenbank zur Analyse anzubieten.
Die neue Datenbanktechnologie beruht auf der Spider-Engine für MariaDB/MySQL und erlaubt es, die Daten über mehrere Serverknoten zu verteilen. Einige weitere Softwarekomponenten waren nötig und wurden vom E-Science-Team des AIP entwickelt, insbesondere um die Behandlung paralleler Abfragen transparenter zu gestalten. Des Weiteren wurde eine Job-Queue als direktes Plugin für MariaDB/MySQL entwickelt, so dass sogar Abfragen mit langer Laufzeit möglich sind.
CosmoSim benutzt das moderne Webframework Daiquiri, welches im Laufe der letzten Jahre in der E-Science-Gruppe entwickelt wurde. Es bietet direkten Datenzugriff über ein SQL-Formular und einen Datenbank-Browser sowie die Validierung der SQL-Syntax bevor die Abfrage zu den Datenbankservern geschickt wird. Darüber hinaus verfügt Daiquiri über eine Schnittstelle zu Tools des virtuellen Observatoriums wie z.B. TopCat und macht so eine schnelle Überprüfung und Weiterverarbeitung der Abfrageergebnisse möglich.
CosmoSim basiert komplett auf Open-Source-Technologie. Die von der E-Science-Gruppe entwickelten Komponenten sind auf GitHub unter https://github.com/adrpar und https://github.com/jochenklar veröffentlicht.
Demo movie:
http://www.cosmosim.org/cms/documentation/demos-and-tutorials/first-steps-with-cosmosim
Das CosmoSim-Team:
- Kristin Riebe, kriebe@aip.de (Datenmanagement und Support)
- Jochen Klar, jklar@aip.de (Webinterface – serverseitig und Frontend)
- Harry Enke, henke@aip.de (Management)
- Stefan Gottloeber, sgottloeber@aip.de (Simulationsdaten)
- Adrian Partl, apartl@aip.de (Server- und Datenbankentwicklung)
Die Website des CosmoSim-Datenbank.
Bild: AIPDie CosmoSim-Datenbank (www.cosmosim.org) ist nach einer intensiven Testphase nun allen Interessierten online zugänglich. Als Nachfolger der MultiDark-Datenbank (www.multidark.org), werden auf der Plattform Datenprodukte kosmologischer Simulationen veröffentlicht.
CosmoSim erlaubt den Zugriff auf sechs kosmologische Simulationen - inklusive einer hochaufgelösten Simulation von ausgewählten Regionen, die hydrodynamische Prozesse und Sternentwicklung einbezieht. Alle Simulationen sind unter Mitarbeit des Leibniz-Instituts für Astrophysik Potsdam (AIP) in verschiedenen internationalen Projekten entstanden.
Üblicherweise sind die Resultate kosmologischer Simulationen in Hochleistungsrechenzentren mit restriktiven Zugriffsmöglichkeiten hinterlegt und aufgrund ihrer Größe nicht komplett abrufbar. Mit CosmoSim können Wissenschaftler aus aller Welt die Daten jetzt abrufen, sie direkt auf dem Server filtern oder kombinieren und sie für ihre eigene Forschung nutzen.
Die verfügbaren Datenprodukte enthalten Kataloge mit Halos aus dunkler Materie, deren inneren Eigenschaften, Verschmelzungsprozessen, Informationen zum kosmischen Netz und für ausgewählte Zeitschritte sogar die Rohdaten zur Verteilung der Simulationsteilchen, die tiefergehende Untersuchungen der Dunkle-Materie-Halos und ihrer Umgebung erlauben. Alle Simulationen und Datenbanktabellen werden mittels eines modernen Webinterface zur Verfügung gestellt. Eine umfangreiche Dokumentation mit Hintergrundinformationen zu Datenbankstrukturen sowie Bilder und Filme der Simulationen komplettieren das Angebot.
Die immer bessere Auflösung kosmologischer Simulationen führte zu ansteigenden Datenmengen, so dass die einzelnen Tabellen den Terabyte-Bereich erreichen. Durch die Erforschung neuer Datenbanktechnologien ist es gelungen, Rohdaten von Simulationen mit fast 60 Milliarden Simulationsteilchen direkt in der CosmoSim-Datenbank zur Analyse anzubieten.
Die neue Datenbanktechnologie beruht auf der Spider-Engine für MariaDB/MySQL und erlaubt es, die Daten über mehrere Serverknoten zu verteilen. Einige weitere Softwarekomponenten waren nötig und wurden vom E-Science-Team des AIP entwickelt, insbesondere um die Behandlung paralleler Abfragen transparenter zu gestalten. Des Weiteren wurde eine Job-Queue als direktes Plugin für MariaDB/MySQL entwickelt, so dass sogar Abfragen mit langer Laufzeit möglich sind.
CosmoSim benutzt das moderne Webframework Daiquiri, welches im Laufe der letzten Jahre in der E-Science-Gruppe entwickelt wurde. Es bietet direkten Datenzugriff über ein SQL-Formular und einen Datenbank-Browser sowie die Validierung der SQL-Syntax bevor die Abfrage zu den Datenbankservern geschickt wird. Darüber hinaus verfügt Daiquiri über eine Schnittstelle zu Tools des virtuellen Observatoriums wie z.B. TopCat und macht so eine schnelle Überprüfung und Weiterverarbeitung der Abfrageergebnisse möglich.
CosmoSim basiert komplett auf Open-Source-Technologie. Die von der E-Science-Gruppe entwickelten Komponenten sind auf GitHub unter https://github.com/adrpar und https://github.com/jochenklar veröffentlicht.
Demo movie:
http://www.cosmosim.org/cms/documentation/demos-and-tutorials/first-steps-with-cosmosim
Das CosmoSim-Team:
- Kristin Riebe, kriebe@aip.de (Datenmanagement und Support)
- Jochen Klar, jklar@aip.de (Webinterface – serverseitig und Frontend)
- Harry Enke, henke@aip.de (Management)
- Stefan Gottloeber, sgottloeber@aip.de (Simulationsdaten)
- Adrian Partl, apartl@aip.de (Server- und Datenbankentwicklung)
Bilder
Die Website des CosmoSim-Datenbank.
