Datenkompetenz als Basis für Big Data und Künstliche Intelligenz

Schon seit Jahrzehnten kreist das Thema „Künstliche Intelligenz“ in den Köpfen von Zukunftsforscherinnen und -forschern, Sci-Fi-Fans und IT-Entwicklerinnen und -Entwicklern. Aber während früher technische Kapazitäten und gewinnbringende Nutzungsszenarien fehlten, ist beides inzwischen längst vorhanden. Hinzu kommen eine wachsende Roboterisierung, ein sprunghaft steigendes Datenaufkommen aus den verschiedensten vernetzten Datenquellen und sinkende Kosten für ausreichend potente IT-Systeme. Der kompetente Umgang mit Daten wird dabei für Unternehmen zu einer entscheidenden Kompetenz.

In Deutschland herrschte beim Thema KI zunächst eine gewisse Zurückhaltung; die Bundesregierung legte beispielsweise Ende 2018 ein eigenes KI-Strategiepapier vor. Inzwischen zeigt sich jedoch eine Veränderung: Laut einer Pressemitteilung des Statistischen Bundesamtes (Destatis) vom November 2024 nutzt inzwischen jedes fünfte Unternehmen (20 %) in Deutschland Technologien der Künstlichen Intelligenz – ein Anstieg um 8 Prozentpunkte

Auch andere Erhebungen kommen – je nach Definition von „KI“ und betrachteter Zielgruppe – zu höheren Werten. Eine Studie von PwC (September 2024) berichtet, dass 45 % der befragten Unternehmen KI-Tools zur Effizienzsteigerung einsetzen. Besonders häufig genannt werden dabei Anwendungsfälle wie Texterstellung (43 %), Übersetzungen (38 %) sowie Recherche, Kundensupport und E-Mail-Beantwortung (32 %).

Diese Zahlen verdeutlichen, dass der Einsatz von KI in deutschen Unternehmen nicht mehr nur eine Zukunftsvision ist, sondern bereits in vielen Bereichen Realität geworden ist. Datenkompetenz ist hierbei der Schlüssel, um diese Transformation erfolgreich zu gestalten

Big Data ermöglicht datengetriebene Entscheidungen

Business Intelligence fokussiert häufig Reporting, Monitoring und die transparente Darstellung von Kennzahlen. Advanced Analytics ergänzt dies um fortgeschrittene Methoden wie Prognosen, Optimierung oder Anomalieerkennung. In der Praxis überschneiden sich die Begriffe und auch viele Tools bieten inzwischen Funktionen aus beiden Welten.

Der Clou dabei: In vielen Fällen bewährt es sich, vor der Implementierung von Software-Routinen, die erwartete Ereignisse definieren, künstliche Systeme mit großen Datensätzen auf bestimmte Muster und Gesetzmäßigkeiten zu trainieren, zum Beispiel durch maschinelles Lernen. So können abstrahierte Aufgabenstellungen und Lösungswege erlernt und in künftigen Situationen eingesetzt werden. Künstliche Intelligenz ist in der Lage, ein Gesamtbild aller verfügbaren Informationen zu berücksichtigen und verschiedene Zukunftsszenarien zu simulieren. Um aber bei komplexen Entscheidungen tatsächlich zu unterstützen, müssen KI-Systeme in ein passendes Big-Data-Szenario eingebettet sein.

Auf die Architektur kommt es an

Bei der Speicherung und Verwaltung großer Datenmengen verlassen sich die meisten Unternehmen bislang auf Data Warehouses (DWH). Dort sammeln sie in relationalen Datenbanken strukturierte Daten, die sich für die klassische Business Intelligence hervorragend eignen. Denn sie ermöglichen es, schnell umfassende Reports zu erstellen und Fragestellungen zu spezifischen KPIs zu beantworten. Die DWH-Architektur ist bewährt, ausgereift und wird gleichermaßen von IT-Abteilungen und Anwenderinnen und Anwendern beherrscht.

Mit Big Data entstehen völlig neue Analyse- und Auswertungsmöglichkeiten: Die Technologie kann sehr große Datenmengen aus dem Internet of Things (IoT) verwerten sowie unstrukturierte Informationen aus Social Media, Logfiles und Rohdaten untersuchen. Weil sie explorativ (erforschend) vorgeht, lassen sich dabei völlig neue Zusammenhänge entdecken. Data Warehouses sind besonders stark bei standardisierten Kennzahlen, Reporting und stabilen Datenmodellen. Ad-hoc- und explorative Fragestellungen sind ebenfalls möglich, erfordern aber häufig zusätzliche Datenquellen, flexiblere Modelle oder ergänzende Plattformkomponenten, damit neue Fragen schnell beantwortet werden können.

Data Lakes machen Big Data und KI nutzbar

Für Big-Data-Use-Cases nutzen viele Unternehmen heute Data Lakes oder Lakehouse-Architekturen als zentrale Plattformkomponente. Dort lassen sich Daten aus unterschiedlichen Quellen in ihrer ursprünglichen Form ablegen – zum Beispiel aus Maschinensensoren, Logdaten, Anwendungen, E-Mail-Systemen oder externen Web-/Social-Media-Quellen. Häufig gilt dabei das Prinzip „Schema on Read“: Daten erhalten ihre Struktur erst dann, wenn sie für einen konkreten Anwendungsfall verarbeitet oder ausgewertet werden. Das ermöglicht Flexibilität, gerade wenn Datenarten, Fragestellungen oder Anforderungen sich schnell ändern – etwa in Innovations-, Analyse- oder KI-Kontexten.

Damit ein Data Lake nicht zum „Data Swamp“ wird, braucht es jedoch klare Leitplanken: Metadatenmanagement (Katalog, Lineage), Datenqualität, Governance und Zugriffskonzepte. Nur wenn Daten auffindbar, dokumentiert und qualitativ nachvollziehbar sind, lassen sie sich später zuverlässig nutzen – auch Monate oder Jahre nach der Speicherung.

Mit der heutigen Rechen- und Speicherkapazität lassen sich Abfragen und Auswertungen deutlich schneller durchführen als in klassischen, rein batch-orientierten Architekturen. In vielen modernen Plattformen entsteht „Echtzeit“ vor allem durch das Zusammenspiel aus Event-Streaming (z. B. Kafka), Stream Processing (z. B. Flink oder Spark Streaming) und skalierbaren Cloud- bzw. Lakehouse-Komponenten. Hadoop war historisch ein wichtiger Baustein des Big-Data-Ökosystems, wird in aktuellen Zielarchitekturen aber je nach Unternehmen zunehmend ergänzt oder durch modernere Plattformansätze abgelöst.

Geschwindigkeit ist dabei kein Selbstzweck. Entscheidend ist, ob Daten schneller zu wertstiftenden Entscheidungen führen – zum Beispiel in der Predictive Maintenance, der Betrugserkennung, der Supply-Chain-Planung oder der Kundeninteraktion. Sinnvolle Messgrößen sind etwa Time-to-Insight, Datenaktualität (Freshness) und die Zeit bis zur Reaktion im Prozess. Künstliche Intelligenz kann hier unterstützen, indem sie Muster erkennt, Anomalien hervorhebt oder Empfehlungen ableitet – vorausgesetzt, Datenbasis, Qualität und Governance sind geklärt. Die Nutzung von Daten in dieser Form setzt außerdem eine ausgeprägte Datenkompetenz in der Organisation voraus: Mitarbeiter:innen müssen Ergebnisse einordnen, Grenzen verstehen und mit Qualitäts- und Compliance-Leitplanken arbeiten können.

Big Data ist keine Entweder-oder-Frage

Bei der technologischen Ausrichtung auf Analytics-Landschaften mit Big Data und KI geht es aber keinesfalls darum, das Data Warehouse niederzureißen und ausschließlich auf Data Lakes zu setzen. In vielen Fällen bewährt sich eine hybride Architektur, in der Data Lake bzw. Lakehouse und DWH/Semantic Layer zusammenwirken. Die Herausforderung dabei ist die Verbindung beider Elemente. Wie lässt es sich erreichen, dass eine hybride Gesamtarchitektur entsteht und nicht zwei Systeme parallel gepflegt werden müssen?

In hybriden Architekturen übernimmt der Data Lake bzw. die zentrale Datenplattform häufig die Rolle einer Landing- und Curated-Schicht für Roh- und aufbereitete Daten. Business-ready-Daten, KPI-Definitionen und einheitliche Kennzahlen werden oft zusätzlich über ein Data Warehouse oder einen semantischen Layer bereitgestellt. So bleibt die Plattform flexibel – und gleichzeitig konsistent für Reporting und Steuerung.

Der hybride Ansatz für Anwender:innen und Expertinnen und Experten

Für Endanwender:innen, die bestimmte Informationen wie Business Reports benötigen, bleibt das DWH unverändert der Zugriffspunkt. Gleichzeitig können sie in einer hybriden Architektur aber auch direkt auf den Data Lake zugreifen. Dort haben sie alle Möglichkeiten, die sich in der Big-Data-Welt bieten: explorative Untersuchungen oder Data Science mit Rohdaten. Die Ergebnisse lassen sich dann in das Data Warehouse übertragen und stehen aufbereitet zur Verfügung.

Wichtig ist, hier nicht nur technologische Aspekte im Blick zu haben, sondern auch den Menschen. Gefragt sind Expertinnen und Experten, die sich nicht allein mit Data Lakes und Data Warehouses auskennen, sondern die das Potenzial einer hybriden Architektur nutzen, mit einem Verständnis für die Anforderungen der klassischen BI-Welt und neuer Analyse-Konzepte. Die Bedeutung von Datenkompetenzen wächst dabei stetig: Wer Daten analysieren, verstehen und in wertvolles Wissen übersetzen kann, wird zum entscheidenden Erfolgsfaktor.

Unternehmen, die den Einstieg in KI und Big Data suchen, sollten frühzeitig in Mitarbeiter:innen investieren und eigene Talente weiterentwickeln: Data Engineers für die Datenbewirtschaftung; Data Scientists für Advanced Analytics und KI sowie Data Analystinnen und Analysten, BI-Spezialistinnen und -Spezialisten oder Data-Visualization-Fachkräfte zur Datenvisualisierung. Die Zusammenarbeit dieser Fachkräfte bildet die Grundlage für den Erfolg jeder datengetriebenen Transformation. Gezielte Schulung und Weiterbildung im Bereich Datenkompetenz helfen dabei, die nötigen Fähigkeiten im Unternehmen systematisch aufzubauen.

Erstveröffentlichung: 12.12.2024
Aktualisiert: 01.04.2026

War dieser Artikel hilfreich für Sie?

Geschrieben von

Cegos Integrata Team