Hauptnavigation
Software aus Luzern Ideen werden Anwendungen.

Python-Tools

Grosse Dateien in überschaubaren Schritten

Stückweise Verarbeitung begrenzt Speicherbedarf und schafft sinnvolle Punkte für Fortschritt und Wiederaufnahme.

Den Speicherbedarf verstehen

Eine Datei muss nicht immer vollständig in den Arbeitsspeicher geladen werden. Wenn jede Zeile unabhängig geprüft werden kann, verarbeitet ein Python-Werkzeug sie nacheinander oder in begrenzten Blöcken. Ein Export mit vielen Ereignissen eignet sich oft dafür. Benötigt die Aufgabe dagegen Vergleiche über sämtliche Datensätze, braucht sie eine andere Strategie, etwa eine geeignete Zwischenspeicherung. Die Struktur der fachlichen Prüfung entscheidet über das Verfahren, nicht allein die Dateigrösse.

Blockgrenzen fachlich wählen

Ein Block sollte nicht versehentlich zusammengehörige Daten trennen, wenn deren Prüfung einen gemeinsamen Zusammenhang braucht. Bei Aufträgen mit mehreren Positionen kann es sinnvoll sein, den gesamten Auftrag als Verarbeitungseinheit zu behandeln. Grössere Blöcke reduzieren Verwaltungsaufwand, beanspruchen aber mehr Speicher und können bei Fehlern mehr Wiederholungsarbeit auslösen. Die passende Grösse wird deshalb mit typischen Dateien und einigen bewusst grossen Fällen überprüft, statt nur an einer kleinen Entwicklungsdatei festgelegt zu werden.

Fortschritt belastbar speichern

Eine Fortschrittsanzeige zeigt gelesene Einträge; ein Wiederaufnahmepunkt muss zusätzlich bestätigte Ergebnisse beschreiben. Diese beiden Zähler können auseinanderliegen, wenn das Schreiben später erfolgt. Nach einem Abbruch darf das Werkzeug nur dort fortsetzen, wo die Speicherung nachvollziehbar abgeschlossen ist. Es prüft zudem, ob die Eingangsdatei unverändert vorliegt. Andernfalls könnte eine gespeicherte Zeilenposition auf andere Daten zeigen und zu Lücken oder Doppelverarbeitung führen, obwohl der Neustart technisch erfolgreich erscheint.

Direkt anwenden

  • Unabhängige Verarbeitungseinheiten bestimmen
  • Blockgrössen mit realistischen Dateien prüfen
  • Wiederaufnahme an bestätigte Ergebnisse binden

Fragen zum Beitrag

Ist stückweise Verarbeitung immer schneller?

Sie begrenzt vor allem den Speicherbedarf. Zusätzliche Blockverwaltung kann Zeit kosten; die Gesamtdauer hängt von Dateiformat, Prüfung und Zielsystem ab.

Blog

Weitere Beiträge