Obwohl er zunächst nur aussieht wie eine Ansammlung von Zahlen, kann ein Datensatz ein beeindruckendes Bild abgeben. Man schaue zum Beispiel auf eine fünftägige Wettervorhersage. Die Berechnung stammt im Kern aus einer Fülle an Details – einige davon von einem US-amerikanischen Radarsystem namens NEXRAD – die das kommende Wetter sichtbar machen. Als das NEXRAD-Wetterdatenarchiv kürzlich auf Amazon Web Services verfügbar wurde, konnte ein Team von Forschern der Cornell University nicht nur Regen, Sonnenschein und Windmuster identifizieren.
Die Forscher entdeckten noch etwas ganz anderes.
Durch den Zugriff auf die Datenschätze des Wetterradars konnten sie ein wenig verstandenes Phänomen erkunden, das sich im amerikanischen Nachthimmel abspielt: der Vogelzug. Die Studie folgte mehr als 4 Milliarden Vögeln auf dem herbstlichen Vogelzug gen Süden, um Erkenntnisse über die Standorte und Überlebensstatistiken der Tiere zu gewinnen. Das Resultat ist in den Worten der Forscher „einer der größten Datensätze zu Tierbewegungen, der jemals zusammengestellt wurde“.
Die Amazon Sustainability Data Initiative (ASDI) erweitert den Zugriff auf Daten, die auf nachhaltige Innovation abzielen sollen – indem Datenarchive wie NEXRAD auf AWS gehostet werden. Die Initiative macht Wettervorhersagemodelle, Satellitenbilder, Luftqualitätsmessungen und andere öffentliche Datensätze in der Cloud leichter zugänglich und stellt auch Rechenwerkzeuge für die Analyse zur Verfügung.
Dieser Inhalt wird von einem Drittanbieter (www.youtube.com) bereitgestellt.
Damit der Inhalt angezeigt wird, ist deine Zustimmung zur Verwendung von Cookies notwendig. Klicke dazu im Pop-up-Fenster auf Alle akzeptieren oder wähle im unteren Website-Bereich Cookie Einstellungen aus. Anschließend auf Funktionelle Cookies, Leistungs-Cookies and Werbe-Cookies klicken und Ein auswählen.
Die Initiative kam dank monatelanger Gespräche zwischen Amazons Nachhaltigkeitsteam und Amazon Web Services (AWS) zustande. Sie erkannten, dass auch eine breitere Gruppe von gemeinnützigen und akademischen Organisationen sowie Unternehmen durch die Verwendung der Daten profitieren können, die Amazon zur Erreichung der eigenen Nachhaltigkeitsziele benötigt. Die Initiative wurde ins Leben gerufen, um jedem, der an Nachhaltigkeitsthemen arbeitet, Wissen über die Cloud zu vermitteln und Zugriff auf Datensätze zu geben, die ganz neue Erkenntnisse und Lösungen ermöglichen.
Die Vogelzugstudie von Cornell ist eine „absolut atemberaubende Untersuchung”, sagt Ed Kearns, Chief Data Officer der National Oceanic and Atmospheric Administration (NOAA), der Bundesbehörde, die NEXRAD betreibt. „Ehrlich gesagt wäre dies nicht möglich gewesen, wenn die Datensätze nicht auf der Cloud-Plattform von Amazon verfügbar gewesen wären.“
Die Leistung der Cloud
Das Nachhaltigkeitsteam von Amazon startete im vergangenen Jahr die Zusammenarbeit mit AWS, um die riesigen Mengen öffentlicher Daten über unseren Planeten zu archivieren. Während diese Datensätze schon immer frei zugänglich waren, verfügen Forscher oftmals jedoch nicht über die erforderlichen Rechenleistungen, um solche Ressourcen in ihren eigenen, lokalen Rechenzentren zu nutzen.
„Wenn Sie Glück haben und über eine gute Internetverbindung und ausreichend Speicherplatz verfügen, können Sie in etwa anderthalb Tagen 1 Terabyte herunterladen“, so Jed Sundwall, Open Data Global Lead für AWS. „Das NEXRAD-Archiv umfasst beispielsweise 300 Terabyte (ein Terabyte sind 1.024 Gigabyte). Oder um die Zahl anschaulich zu machen: 500 Stunden Film passen auf einen Speicherplatz von einem Terabyte Größe."
Wenn Daten in der Cloud lagern – also auf Remote-Servern, die mit dem Internet verbunden sind – kann jeder sie abrufen und analysieren, ohne sich eine Kopie erstellen zu müssen oder sich Sorgen darüber zu machen, ob die vorhandenen Daten aktuell sind. „Und das ist das wirklich Geniale daran“, sagt Sundwall, „denn Forscher können dank der Cloud viel schneller und kostengünstiger experimentieren, was wiederum zu mehr Erkenntnissen führt. Wir hören oft von unseren Kunden, dass sie mittlerweile Projekte umsetzen können, die vor wenigen Jahren noch Zukunftsvisionen waren.“
Die Amazon Sustainability Data Initiative ging von der Idee aus, Ressourcen in der Cloud zu aggregieren – entwickelte sich aber schnell zu viel mehr.
„Wir stellten fast sofort fest, dass wir noch nicht einmal an der Oberfläche dessen kratzten, was wir als Wert bieten konnten“, so Dara O‘Rourke, leitender Wissenschaftler von Amazons Nachhaltigkeitsteams und Professor für Umwelt- und Arbeitspolitik an der University of California in Berkeley.
In Gesprächen mit anderen Forschern wurde deutlich, dass nicht nur der Zugriff auf die Daten selbst erforderlich war, sondern auch auf technisches Fachwissen und Computer-Tools. Beides kann von Amazon bereitgestellt werden. Die NASA hat so beispielsweise kürzlich maschinelle Lerntechniken auf AWS genutzt, um die Windgeschwindigkeiten von Hurrikanen sechs Mal schneller berechnen zu können als bisher.
„Nur sehr wenige Klimaforscher haben Zugriff auf die neuesten und modernsten Werkzeuge für maschinelles Lernen und künstliche Intelligenz, doch genau diese könnten möglicherweise besonders wertvoll für die Forschung sein“, sagt O‘Rourke. „Wir versuchen also, diese Daten an einem Ort einzustellen, an dem der Zugriff viel einfacher ist. Gleichzeitig bieten wir den Forschern eine Reihe von bisher noch nie genutzten Tools.”
Den Himmel im Blick
Zusammen ermöglichen die von AWS bereitgestellten Zugriffs- und Berechnungswerkzeuge verschiedene Nachhaltigkeitsprojekte. Diese reichen von Gruppenprojekten unter der Leitung von Universitätsforschern über lokale Regierungen und Bundesbehörden bis hin zu privaten Start-ups. Satellitenbilder für fünf Länder in Afrika wurden beispielsweise im Africa Regional Data Cube zusammengestellt, einer globalen Partnerschaft, die sich auf die Probleme im Kontext von Landnutzung, Wasser und Urbanisierung konzentriert.
In Ghana überfallen illegale Minenarbeiter Monat für Monat Ländereien, roden Bäume und hinterlassen kontaminiertes Wasser. „Das ist eine Umweltkatastrophe“, sagt Brian Killough, der die Data Cube-Arbeit durch die NASA unterstützt. Die ghanaischen Behörden haben nur begrenzte Möglichkeiten, ein riesiges Gelände mit Hilfe von Hubschraubern und Flugzeugen zu kontrollieren. „Aber mit Satellitenbildern, die alle zwei bis drei Tage aktualisiert werden, und ein paar ausgeklügelten Algorithmen können Änderungen sofort festgestellt werden”, so Killough. Der über AWS verfügbare Data Cube – so benannt, weil er über einen bestimmten Zeitraum verschiedene Schichten von Satellitendaten zu einem bestimmten Standort übereinander stapelt – trägt auch dazu bei, Erkenntnisse über Landwirtschaft und Stadtplanung zu gewinnen. Killough hofft, dass das Projekt auch auf andere Teile Afrikas und der Welt ausgedehnt werden wird.
AWS hat auch der Group on Earth Observations (GEO), einer zwischenstaatlichen Organisation, Cloud-Credits in Höhe von 1,5 Millionen US-Dollar zur Verfügung gestellt. Damit können Regierungsbehörden und Forschungsgruppen in Entwicklungsländern Big Data nutzen, um Entscheidungen zugunsten einer nachhaltigen Entwicklung zu treffen. Der Zuschuss wurde erst Ende November bekannt gegeben und wird eine breite Palette von Projekten finanzieren. Steven Ramage, Leiter der Abteilung Außenbeziehungen bei GEO, sagt, dass bereits mehrere Anfragen in Bezug auf Tools und Dienste zur Verringerung von Katastrophenrisiken eingegangen sind.
„Wir möchten den Menschen helfen, sich selbst zu helfen“, erklärt Ramage. „So ermöglichen wir es uns allen, einige der größten Herausforderungen anzugehen, die der Menschheit jemals gestellt worden sind.“
Globale Reichweite, lokale Auswirkungen
Während einige dieser Projekte eindeutig auf das „Big Picture“ abzielen, kann dank der Technik genauso leicht auch nur ein einziger Häuserblock ins Visier genommen werden. In Virginia setzen hochwassergefährdete Städte Sensoren ein, die den Wasserstand überwachen und die Daten als Teil des StormSense-Projekts in die Cloud laden. Anwohner können Alexa bitten, sie über den Wasserstand an bestimmten Orten zu informieren, oder sie können eine App mit Warnhinweisen bei gefährlichen Überschwemmungen nutzen.
Die Daten werden auch für Vorhersagen genutzt, wo Überschwemmungen auftreten könnten. In Zukunft könnten sie mit elektronischen Anzeigetafeln verbunden werden, die Autofahrern Hinweise zum Umkehren geben, wenn eine Fahrbahn überflutet ist, sagt Sridhar Katragadda, Datenverantwortlicher für die Stadt Virginia Beach, die am Projekt beteiligt ist.
StormSense sammelt Daten von Küstenstädten wie Virginia Beach, Newport News und Hampton Roads. Laut Katragadda kann jeder Ort ein eigenes System zum Erfassen und Darstellen des Wasserstandes haben, die dann miteinander in Einklang gebracht werden müssen, damit das Projekt wachsen kann.
„Das lässt sich nur gut skalieren, wenn man sich in der Cloud befindet“, sagt Katragadda. „Verschiedene Städte können zwar unterschiedliche Sensorensysteme verwenden, aber wir können dennoch die Daten an einem Ort zusammenfassen.“
In Kalifornien nutzt die Cal-Adapt-Initiative AWS, um Klimadaten der staatlichen Forschungsgemeinschaft zu zugänglich zu machen – zum Beispiel Details zum Anstieg des Meeresspiegels, zum Auftreten von Waldbränden, zu Schneehöhen und anderen Indikatoren.
„Die nächste Generation globaler Klimamodelle weist eine höhere räumliche und zeitliche Auflösung auf als frühere Modelle, und der Modell-Output umfasst mehr Variablen als je zuvor“, erklärt Nancy Thomas, Executive Director von Cal-Adapt.
Laut Thomas setzt die Gruppe AWS Lambda ein, um die Rechenleistung zu erhöhen, mit der die Forscher die täglichen Klimaparameter anlegen – zum Beispiel die Zahl der Tage mit extremer Hitze. Diese werden in einem interaktiven Kartenformat angezeigt, das Klimaanomalien über Raum und Zeit hervorheben kann.
„Der Zugang zu offenen Daten ist entscheidend, um komplexe Klimaforschung verständlich, zugänglich und umsetzbar zu machen“, sagt sie.
„Manchmal sind Messungen esoterisch, und ihre unmittelbare Anwendung ist nicht offensichtlich, aber nach Gesprächen mit unseren Experten gibt es oft ein Aha–Erlebnis: „So können diese Daten also verwendet werden.“ Das ist wirklich spannend für uns."
Daten-Community im Aufbau
Für NOAA hat das Hosten von NEXRAD-Daten und anderen Ressourcen in der Cloud die Belastung der eigenen Server verringert.
„Das wirklich Tolle an dem, was Amazon tut, ist, dass sie diese NOAA-Daten liefern, ohne dass es erkennbare Limits für Nutzer gibt, wie viele Daten sie konsumieren dürfen“, so Kearns von NOAA.
Er fügt hinzu, dass der ständige Dialog zwischen Amazon und den NOAA-Experten außerdem dabei hilft festzustellen, welche Daten von der Agentur bereitgestellt werden. Amazon gibt weiter, welche Datensätze für seine Kunden interessant sind, und NOAA hilft bei der Erläuterung und Nutzung der Datensätze.
„Manchmal sind Messungen esoterisch, und ihre unmittelbare Anwendung ist nicht offensichtlich, aber nach Gesprächen mit unseren Experten gibt es oft ein Aha-Erlebnis: ‚So können diese also Daten verwendet werden.’ Das ist wirklich spannend für uns.”
Mit dem kontinuierlichen Wachstum der Amazon Sustainability Data Initiative, entwickelt sie eine Eigendynamik: Mehr Daten führen zu mehr Benutzern, was wiederum zu mehr Daten und mehr Benutzern führt. Viele dieser Nutzer sind Hobbywissenschaftler, Unternehmer oder Forscher – wie die von Cornell, die völlig unerwartete und kreative Erkenntnisse aus Daten ziehen, die bis dato nicht erreichbar waren.
„Als wir mit NOAA zusammengearbeitet haben, um Zugang zu den Wetterradardaten zu erhalten, hätten wir nie gedacht, dass diese als Datensatz zur Beschreibung des Vogelzugs verwendet werden würden“, so Sundwall über die Vogelstudie.
"Wenn mehr Menschen mit unterschiedlichen Perspektiven, unterschiedlichen Prioritäten und unterschiedlichen Ansätzen Zugang zu Datensätzen erhalten, werden alle viel mehr aus diesen herausziehen.”
