Datenanalyse mit Python: Wenn die Tabellenkalkulation an ihre Grenzen stößt

Daten mit Python vorbereiten, bereinigen, transformieren und analysieren

Die Programmiersprache Python kann dort unterstützen, wo in der Tabellenkalkulation jeden Monat dieselben Arbeitsschritte wiederholt werden müssen. Es trennt die Daten von ihrer Verarbeitung und macht Analysen dadurch reproduzierbar und überprüfbar. Cegos Integrata unterstützt Ihre Teams mit passenden Seminaren beim Einstieg in die Datenanalyse mit Python und bei der Vertiefung ihrer Kenntnisse.

Vielleicht kennen Sie das: Jeden Monat wiederholt sich in Ihrem Unternehmen dasselbe Szenario:

• Ein:e erfahrene:r Mitarbeiter:in öffnet eine Excel-Datei zur laufenden Auswertung.
• Er oder sie wendet dieselben Filter an.
• Er oder sie ergänzt dieselben Spalten mit Daten aus Ihren verschiedenen Anwendungen.
• Anschließend verschickt er/ sie dieselbe KPI-Tabelle an das gesamte Unternehmen.

Dieser Vorgang kostet ihn einen Tag, manchmal zwei. Gleichzeitig ist er unverzichtbar: Ihre Entscheidungen hängen von diesen Zahlen ab. Nur zwei oder drei Personen beherrschen den Prozess. Sobald eine davon ausfällt, gerät die gesamte Verarbeitungskette ins Stocken.

Wenn Sie Excel mit Python automatisieren, lässt sich diese Vorbereitung und Verarbeitung von Daten mit einem Python-Skript automatisieren. Mit der Programmiersprache schreiben Sie eine Abfolge von Anweisungen einmal auf, damit der Computer sie im folgenden Monat auf genau dieselbe Weise erneut ausführt.

Python hat sich in Datenteams etabliert, weil es Bibliotheken bietet, die speziell für die Arbeit mit den Dateien und Datenbanken entwickelt wurden, die Ihre Teams bereits täglich nutzen.

Basieren Ihre Analysen auf Dateien, die nur zwei Personen pflegen können?

Cegos Integrata bietet je nach Vorkenntnissen unterschiedliche Einstiege in die praktische Datenarbeit:

• Einführung in Data Science mit Python für Anfänger: Sie üben den Umgang mit pandas, das Einlesen und Schreiben von Excel-Dateien sowie die grafische Auswertung mit Matplotlib und Seaborn.
• Einführung in das Data Mining mit Python: Mit Python-Grundkenntnissen vertiefen Sie das Einlesen, Bereinigen und Auswerten von Daten mit NumPy und pandas sowie die Diagrammerstellung mit Matplotlib.

Das Wichtigste zur Datenanalyse mit Python

• Excel mit Python automatisieren: Automatisieren Sie Ihre monatlich wiederkehrenden Aufgaben, um Zeit zu gewinnen und die Abhängigkeit von einer einzigen Datei zu vermeiden.
• Die vier Phasen eines Datenprojekts: Folgen Sie einem strukturierten Ablauf: vorbereiten, bereinigen, transformieren und anschließend analysieren und visualisieren.
• Bereinigung als entscheidender Schritt: Beseitigen Sie Duplikate, fehlende Werte und Auffälligkeiten, um die uneingeschränkte Zuverlässigkeit Ihrer Berechnungen sicherzustellen.
• Daten und Code trennen: Lassen Sie Ihre Quelldaten unverändert und führen Sie Ihre Analyseskripte beliebig oft erneut aus – ohne manuelle Eingriffe.
• Technische Grenzen überwinden: Bewältigen Sie Einschränkungen beim Arbeitsspeicher und beim Übergang in den produktiven Betrieb mit geeigneten Werkzeugen wie Polars, Dask und Automatisierungslösungen.

Warum Python für die Datenanalyse nutzen, wenn Excel bisher ausgereicht hat?

Eine Tabellenkalkulation bleibt das schnellste Werkzeug, um eine begrenzte Datenmenge zu untersuchen oder eine einmalige Fragestellung zu beantworten. Ihre Grenzen zeigen sich jedoch nicht in einer plötzlich auftretenden technischen Blockade. Vielmehr häufen sich unauffällige manuelle Arbeitsschritte, die weder dokumentiert noch im Rahmen eines Audits nachvollziehbar sind. Genau dieses Problem adressiert das Datenökosystem von Python.

Der grundlegende Unterschied liegt in der Architektur: Während eine Tabellenkalkulation Daten und Formeln in derselben Datei zusammenführt, trennt Python die Rohdaten strikt von der Verarbeitungslogik. Ihre Quellen bleiben unverändert und überprüfbar. Gleichzeitig wird Ihr Bereinigungsskript zu einer Folge klarer Anweisungen, die sich im nächsten Monat erneut auf die neuen Daten anwenden lässt.

Für IT-Abteilungen ergeben sich drei essenzielle Vorteile:

• Datenvolumen: Eine Tabellenkalkulation wird schon deutlich vor ihrer theoretischen Grenze langsam. Python-Bibliotheken hingegen verarbeiten Millionen von Zeilen, solange der Arbeitsspeicher des Rechners ausreicht.
• Reproduzierbarkeit: Zwei Mitarbeiter:innen, die dasselbe Skript ausführen, erhalten dasselbe Ergebnis. Dadurch entfallen menschliche Fehler bei der manuellen Bearbeitung.
• Nachvollziehbarkeit: Der Code dokumentiert jeden Filter und jede Berechnung zwischen der Quelldatei und dem fertigen Diagramm. Dies lässt sich bei einem Audit oder vor der Geschäftsleitung darlegen.

Sobald die Geschäftslogik in einem Skript festgehalten ist, hängt das Wissen nicht mehr von einer einzelnen Person ab: Es wird lesbar, kann weitergegeben werden und ist für die gesamte Abteilung dauerhaft nutzbar. Wenn Sie die Programmierbasis für solche Abläufe aufbauen möchten, bietet sich unser Seminar Python Programmierung an. Es behandelt unter anderem Scripting, Automatisierung und die Verarbeitung verschiedener Dateiformate einschließlich Excel. Grundlegende Programmierkenntnisse werden empfohlen.

Standortbestimmung: Wo steht Ihr Team heute?

Der Übergang von manuell bearbeiteten Tabellen zu einer standardisierten, automatisierten Datenverarbeitung erfolgt schrittweise. Mit der folgenden Tabelle können Sie den Reifegrad Ihrer Abteilung einordnen, erste Anzeichen für Grenzen erkennen und den nächsten Entwicklungsschritt bestimmen.

Wenn Sie Ihren aktuellen Stand genau bestimmen, vermeiden Sie es, Ihre Mitarbeiter:innen mit theoretischen Konzepten zu überlasten, die für sie noch weit entfernt sind. Stattdessen können Sie sich auf die Kompetenzen konzentrieren, die Ihrem Unternehmen einen unmittelbaren Nutzen bringen.

Vorbereiten, bereinigen, transformieren, analysieren: Die vier Phasen eines Datenprojekts mit Python

Ein strukturiertes Projekt zur Datenanalyse mit Python umfasst vier aufeinanderfolgende Phasen. Jeder Schritt baut auf den Ergebnissen des vorherigen auf, um verlässliche geschäftliche Entscheidungen zu ermöglichen.

1. Vorbereiten: Quellen identifizieren, die Datenstruktur prüfen und Auffälligkeiten bereits beim Import erkennen.
2. Bereinigen: Duplikate entfernen, Unstimmigkeiten korrigieren und fehlende Werte nach klaren Regeln behandeln.
3. Transformieren: Datensätze gruppieren, verknüpfen und umstrukturieren, um geschäftlich relevante Informationen herauszuarbeiten.
4. Analysieren und visualisieren: Statistische Ergebnisse interpretieren und verständliche Kennzahlen grafisch darstellen.

Merken Sie sich: Dieser Ablauf muss konsequent eingehalten werden. Wer unbereinigte Daten analysiert, gelangt zwangsläufig zu falschen Schlussfolgerungen.

Schritt 1 – Vorbereiten: Daten bereits beim Eingang prüfen

Ob Ihre Daten aus Fachanwendungen, CSV-Dateien, Excel-Arbeitsmappen oder Datenbanken stammen: Python führt Ihre Quellen in einem DataFrame zusammen – einer virtuellen Tabelle im Arbeitsspeicher. Ihre Quelldateien bleiben dabei unverändert, was eine sichere und reproduzierbare Verarbeitung gewährleistet.

Vor jeder Bearbeitung entscheiden drei grundlegende Prüfungen über den Projekterfolg:

• Umfang: Die genaue Anzahl der Zeilen und Spalten (shape).
• Datentypen: Die Art der Werte in jeder Spalte (dtypes).
• Vollständigkeit: Anzahl und Position der leeren Felder (isna).

Wird beispielsweise ein Datum als einfacher Text interpretiert, kann dies eine chronologische Sortierung verfälschen, ohne dass eine Fehlermeldung erscheint. Die Vorbereitungsphase beseitigt solche unsichtbaren Fallstricke, bevor sie die nachfolgenden Berechnungen beeinflussen.

Schritt 2 – Bereinigen: Uneingeschränkte Zuverlässigkeit der Daten sicherstellen

Die Bereinigung ist die kritischste Phase des Projekts. Jede Korrektur beruht auf klaren fachlichen Entscheidungen, die automatisiert und im Code dokumentiert werden, um Abweichungen bei Audits zu vermeiden:

• Duplikate: Ein doppelt erfasster Kunde geht zweimal in Ihren Umsatz ein. drop_duplicates reduziert ihn auf eine Zeile, und die Gesamtsumme sinkt entsprechend.
• Fehlende Werte: Ein leeres Feld, das als null behandelt wird, senkt den Durchschnitt. Bei der Behandlung mit fillna entscheiden Sie, ob Sie den fehlenden Eintrag entfernen, durch den Median ersetzen oder als fehlend sichtbar lassen.
• Uneinheitliche Schreibweisen: „Berlin“ und „berlin“ beispielsweise erzeugen in einer Auswertung nach Niederlassung zwei Zeilen, die jeweils die Hälfte des tatsächlichen Werts ausweisen.
• Ausreißer: Eine Bestellung, die mit 100.000 Euro statt mit 1.000 Euro erfasst wird, verschiebt den Trend eines ganzen Quartals.

Python dokumentiert jede Maßnahme – ob Sie einen fehlenden Wert durch den Median ersetzen oder Ausreißer mithilfe des Interquartilsabstands (IQR) behandeln. Das Skript hält Ihre Entscheidungen fest. Ohne diese Dokumentation können zwei Teams für dieselbe Kennzahl unterschiedliche Zahlen ermitteln, und niemand weiß, welcher davon man vertrauen kann.

Schritt 3 – Transformieren: Daten für Entscheidungen aufbereiten

Durch die Transformation werden aus Rohdaten verwertbare Informationen. Dabei stützen sich die Teams auf drei zentrale Funktionen der Bibliothek pandas:

• Gruppieren: groupby verdichtet 80.000 Bestellzeilen zu einer Zeile je Niederlassung – mit der gewünschten Summe, dem Durchschnitt oder der Anzahl.
• Verknüpfen: merge verbindet zwei Dateien über einen gemeinsamen Schlüssel, beispielsweise Ihre Verkaufsdaten und Ihre Kundenstammdaten. So entsteht eine Tabelle, die beide Informationen enthält.
• Umstrukturieren: pivot_table ordnet die Monate als Spalten an. Dadurch entsteht eine Tabelle, die Ihre Geschäftsleitung auf einen Blick erfassen kann.

Das Verknüpfen von Dateien erfordert besondere Aufmerksamkeit, weil dabei besonders viele unbemerkte Fehler entstehen. Fehlt ein Schlüssel auf einer Seite der Verknüpfung, muss der Analyst entscheiden, ob die Zeile ausgeschlossen oder mit einem leeren Wert beibehalten werden soll – also zwischen einer inneren und einer äußeren Verknüpfung wählen. Wird diese fachliche Regel ausdrücklich im Skript hinterlegt, verhindert dies Berechnungsabweichungen, die häufig erst sechs Monate später beim Budgetabschluss auffallen.

Schritt 4 – Für die Analyse und Datenvisualisierung Python einsetzen

Die Analyse stützt sich zunächst auf belastbare statistische Kennzahlen wie Mittelwert, Median und Streuung, um Fehlinterpretationen zu vermeiden. Das Seminar Einführung in das Data Mining mit Python von Cegos Integrata greift diese Grundlagen mit deskriptiven Statistiken, Korrelationen und Kovarianzen auf.

Anschließend kommt die Korrelation ins Spiel. Sie misst, ob sich zwei Variablen gemeinsam verändern, sagt aber niemals aus, dass die eine die andere erklärt. Zwei gleichzeitig steigende Kurven können von einer dritten Ursache abhängen, die in der Tabelle nicht erfasst ist. Ebenso kann ihre Übereinstimmung im betrachteten Zeitraum rein zufällig sein.

Wenn Sie für die Datenvisualisierung Python nutzen, können Sie Kennzahlen und Zusammenhänge in reproduzierbaren Diagrammen darstellen. Dafür bieten sich zwei einander ergänzende Bibliotheken an:

• Matplotlib: Ermöglicht es, Visualisierungen mit einem äußerst präzisen, objektorientierten Ansatz Schritt für Schritt aufzubauen. Sie eignet sich ideal für die Ausarbeitung fertiger Abbildungen für die Geschäftsleitung.
• Seaborn: Erstellt mit einer einzigen Codezeile schnell komplexe statistische Diagramme in einer klaren grafischen Gestaltung. Sie eignet sich besonders für die schnelle Untersuchung von Daten im Arbeitsalltag.

Diese Bibliotheken gehören zu einem größeren Ökosystem, das wir in unserem Überblick über Python-Frameworks für KI, Daten und Webanwendungen näher beschrieben haben.

Wenn Python allein nicht mehr ausreicht: Große Datenmengen, fortgeschrittene Analysen und produktiver Betrieb

Auch wenn Ihre Teams die Grundlagen von Python und pandas beherrschen, stoßen sie irgendwann auf Grenzen bei Leistung und Skalierbarkeit. Wenn Sie die folgenden drei wesentlichen Grenzen erkennen, können Sie Ihre Vorgehensweise anpassen und die Kompetenzen Ihrer Mitarbeiter gezielt weiterentwickeln.

1. Die Grenze des Arbeitsspeichers: Auf Werkzeuge für große Datenmengen umsteigen

Wenn ein Datensatz wächst, zeigt pandas schnell seine Grenzen: Da die Bibliothek die gesamte Datei direkt in den Arbeitsspeicher lädt, kann es zu extremen Verzögerungen und schließlich zu abrupten Abstürzen durch Speichermangel kommen – sogenannten „Out of Memory“-Fehlern.

An dieser technischen Grenze haben Sie zwei Möglichkeiten:

• Sie erweitern die Hardwarekapazität des Rechners. Dadurch verschieben Sie das Problem möglicherweise aber nur um einige Monate und verursachen zugleich wiederkehrende Kosten.
• Sie wechseln zu modernen Verarbeitungswerkzeugen wie Polars, das in Rust entwickelt wurde und Daten in Teilmengen verarbeitet, oder Dask, das Berechnungen auf mehrere Prozessorkerne verteilt.

Dieser Schritt erfordert eine Weiterbildung Ihrer Teams, damit sie die Skripte umschreiben und pflegen können. So schaffen Sie eine robuste und dauerhaft tragfähige Infrastruktur.

Eine weitere Möglichkeit ist die verteilte Verarbeitung mit Apache Spark. Unser Seminar PySpark - Big Data Analytics mit Apache Spark und Python vermittelt dazu DataFrames, Transformationen, Aggregationen und Joins. Voraussetzung sind grundlegende Programmier- und SQL-Kenntnisse.

2. Die analytische Grenze: Mithilfe von Statistik über die reine Beobachtung hinausgehen

Mit steigenden Anforderungen beschränkt sich die Analyse nicht mehr auf die Untersuchung der Vergangenheit. Ob Sie die Auswirkungen einer Produkteinführung abschätzen oder die entscheidenden Einflussfaktoren Ihrer Rentabilität ermitteln möchten: Die Beherrschung statistischer Modellierung wird unverzichtbar.

Externe Berater können helfen, diese Schwelle schnell zu überwinden. Doch mit dem Ende von in Anspruch genommener Beratung verlässt auch ihre Expertise das Unternehmen. Wenn Sie Ihre eigenen Analystinnen und Analysten im Umgang mit Werkzeugen wie Statsmodels für Regressionen und Prognosen schulen, behalten Sie dieses entscheidende Wissen im Haus. Ihre Teams können ihre Modelle dadurch weiterhin selbstständig an jede strategische Veränderung anpassen.

Für den Einstieg in modellbasierte Analysen eignet sich Einführung in das Machine Learning mit Python von Cegos Integrata. Das Seminar behandelt unter anderem lineare Modelle, Entscheidungsbäume, Clustering sowie die Aufteilung in Trainings- und Testdaten. Python-Grundkenntnisse sind erforderlich.

3. Die Grenze zum produktiven Betrieb: Skripte selbstständig und zuverlässig ausführen lassen

Solange eine Verarbeitung manuell auf dem Rechner eines Mitarbeiters oder einer Mitarbeiterin gestartet werden muss, bleibt der Prozess störanfällig. Schon eine Abwesenheit oder ein Bedienfehler kann die gesamte Analysekette blockieren.

Der nächste Schritt besteht deshalb darin, aus Skripten zur explorativen Analyse eigenständig laufende, zuverlässige Programme zu machen. Konkret bedeutet das, ihre automatische Ausführung zu planen – beispielsweise über Cron-Jobs –, direkt nutzbare Berichte zu erzeugen und die Abläufe mithilfe von Ausführungsprotokollen genau nachzuverfolgen.

Diese Automatisierung gehört eher zu den bewährten Methoden der Softwareentwicklung als zur reinen Datenanalyse. Sie können Ihre Analystinnen und Analysten dabei von der IT-Abteilung unterstützen lassen oder sie in diesen Methoden schulen. Damit gewinnen Sie an Reaktionsfähigkeit und vermeiden Abstimmungsschleifen bei fachlichen Anpassung.

Für die technische Weiterentwicklung Ihrer Skripte bietet sich unser Seminar Python Programmierung für Fortgeschrittene an. Debugging, Logging, Regressionstests, Laufzeitanalyse und Paketierung unterstützen dabei, Programme systematisch zu prüfen und wartbar weiterzuentwickeln.

Ihre Teams stehen noch am Anfang? Wählen Sie den Einstieg nach ihrem Arbeitsziel: Einführung in Data Science mit Python für Anfänger führt in die datenbezogene Arbeit ein, während das Seminar Python Programmierung die allgemeine Programmierbasis für eigene Skripte stärkt.

FAQ zur Datenanalyse mit Python

Dieser Artikel wurde auf Grundlage eines Artikels der Cegos Group übersetzt und adaptiert. Den Originalbeitrag finden Sie hier: https://www.ib-formation.fr/home/mag/data/analyse-de-donnees-avec-python

War dieser Artikel hilfreich für Sie?

Geschrieben von

Daniela Budihardjo Welim

Daniela Budihardjo Welim verantwortet bei Cegos Integrata die Planung und Umsetzung von Content und Kampagnen. Mit klarem Fokus auf die Bedürfnisse von Weiterbildungsinteressierten entwickelt sie Inhalte und Botschaften, die Orientierung geben und Resonanz schaffen. Dabei verbindet sie analytisches Denken mit technologischem Verständnis und dem Anspruch, Kommunikation zielgerichtet zu gestalten. Vertrauensvolle Zusammenarbeit, kontinuierliches Wachstum und agiles Handeln sind ihr in ihrer Arbeit besonders wichtig.