Globale Datenmenge explodiert in astronomischem Ausmaß

Das wahre Ausmaß globaler Datenmengen lässt sich trotz zahlreicher Versuche noch immer nur schwer erfassen. Forscher des Global Information Industry Centers in Kalifornien haben nun einen weiteren Versuch unternommen, die Masse der weltweit anfallenden Daten abzuschätzen. Dabei ermittelte man in einer Studie, dass allein Unternehmensserver im Jahr 2008 rund 9,57 Zettabyte an Daten verarbeitet haben. Ein Zettabyte entspricht dabei einer Milliarde Terabyte oder 20 Stephen-King-Bücherstapeln von der Erde bis zum Neptun.

Neben dieser unvorstellbaren Masse schätzen die Wissenschaftler zudem, dass sich die Menge der Daten etwa alle zwei Jahre verdoppelt. Zur Verarbeitung der Daten kamen 2008 rund 27 Millionen Server zum Einsatz – wobei diverse Variablen wie die Server-Infrastruktur von Branchenriesen wie Google, Microsoft oder Yahoo noch gar nicht mit in die Betrachtung eingeflossen sind.

Eine Erklärung für diese Datenmengen ist die Verarbeitung zahlreicher betriebswirtschaftlicher Informationen. So laufen zum Beispiel bei einer einfachen Bestellung beim weltweit größten Online-Versandhändler Amazon im Hintergrund zahlreiche Arbeitsschritte ab, die dem Nutzer beim "Ein-Klick-Bestellen" gar nicht bewusst sind. Neben der reinen Prüfung nach Verfügbarkeit der Ware oder Meldungen zu Versand und Rechnungsabteilung werden im Hintergrund zahlreiche Vorgänge zur Datenanalyse, etwa zur Kreditprüfung des Käufers oder zur Produktempfehlung ausgeführt.

Allerdings müssen nicht alle erzeugten Daten auch tatsächlich gespeichert werden. So existieren viele Datenarten nur wenige Sekunden bevor sie wieder gelöscht werden. Dennoch geht der Trend in die Richtung nicht mehr nur Stammdaten wie direkte Benutzerprofile oder Produktdaten sondern auch sogenannte Transaktionsdaten langfristig zu archivieren. Diese sind zum Beispiel Suchanfragen bei Google.

Die wachsende Menge der Daten erfordert entsprechend auch eine neue Ausrichtung der IT-Infrastruktur. Die Frage zur effizienten und langfristig sicheren Archivierung der Informationen ist nur ein Teilaspekt. Gleichzeitig wächst der Bedarf an schnellen Suchalgorithmen, um in der Menge der Daten überhaupt die gesuchten Informationen zu finden. Echtzeit-Dienste wie Twitter oder Facebook stellen zudem extreme Ansprüche an die Performance der Speicher-Architektur, die neue Arten von Speicherkonzepten und Datenbanksysteme erfordern.

Da die Studie derzeit nur Unternehmensdaten berücksichtigt und nicht die anfallenden Daten im privaten Umfeld mit in die Betrachtung einbezieht, dürften die Herausforderungen in ganzheitlicher Sicht nochmals deutlich größer werden. Mit der wachsenden Verbreitung von "intelligenten" Produkten vom Smartphone bis zum Stromzähler, die direkt am Internet angeschlossen sind, um Status-Meldungen zu versenden, dürfte auch die Datenflut weiter zunehmen.
[rl]