Massendatenimport
Ein Massendatenimport überträgt große Mengen an Artikeln, Preisen oder Beständen in einem Lauf in ein System, üblicherweise aus einer Datei oder über eine Schnittstelle.
Bei Sortimenten mit vielen Ausführungen ist der Import der Regelfall der Datenpflege; seine Verlässlichkeit entscheidet darüber, ob der Katalog dem tatsächlichen Angebot entspricht.
In einfachen Worten
Ein Import liest eine Menge von Datensätzen und überträgt sie in die Datenhaltung des Zielsystems. Drei Eigenschaften unterscheiden einen belastbaren Lauf von einem riskanten. Erstens der Abgleich: Vorhandene Datensätze werden über ein eindeutiges Merkmal wiedererkannt und aktualisiert, anstatt ein zweites Mal angelegt zu werden. Zweitens der Umgang mit Teil-Fehlschlägen: Ein fehlerhafter Datensatz wird protokolliert und übersprungen, während der Lauf weitergeht. Drittens der Wiederaufsetzpunkt: Ein unterbrochener Lauf setzt an der letzten gesicherten Stelle auf. Ohne diese drei Eigenschaften endet ein abgebrochener Import in einem halb aktualisierten Katalog.
Wozu brauche ich das?
Anlässe sind die Erstbefüllung eines Katalogs, die regelmäßige Aktualisierung von Preisen und Beständen, die Übernahme von Lieferantendaten und die Datenmigration bei einem Systemwechsel. Bei großen Mengen läuft der Import über eine Warteschlange, damit er den laufenden Betrieb nicht ausbremst.
Beispiel aus der Praxis
Ein Lieferant liefert monatlich eine Datei mit mehreren zehntausend Zeilen für den Katalog im Produktinformationssystem. Der Lauf bricht nach der Hälfte ab, weil ein Feld ein unerwartetes Zeichen enthält. Ohne Wiederaufsetzpunkt beginnt der nächste Versuch von vorn, und weil der Abgleich über den Artikelnamen läuft statt über die Artikelnummer, entstehen dabei Dubletten. Mit eindeutigem Merkmal, Protokoll und Wiederaufsetzpunkt hätte der zweite Lauf an der Abbruchstelle weitergearbeitet.
Wirtschaftlicher Nutzen
Ein verlässlicher Import hält den Katalog aktuell und sichert die Übereinstimmung mit der führenden Quelle. Er verhindert Dubletten, die später einzeln bereinigt werden müssen, und macht die Aktualisierung großer Sortimente zu einem planbaren Vorgang statt zu einem Eingriff mit ungewissem Ausgang.
Typische Fehler
- Den Abgleich über einen Namen oder eine Bezeichnung geführt – schon eine geänderte Schreibweise erzeugt einen zweiten Datensatz.
- Den Lauf beim ersten Fehler abgebrochen – eine einzelne fehlerhafte Zeile verhindert die Aktualisierung aller übrigen.
- Keinen Wiederaufsetzpunkt vorgesehen – ein unterbrochener Lauf hinterlässt einen halb aktualisierten Bestand.
- Den Import zur Hauptgeschäftszeit ausgeführt – die Last trifft auf die Besucher, die gerade bestellen wollen.
- Kein Protokoll geführt – nach dem Lauf lässt sich nicht feststellen, welche Datensätze übersprungen wurden.
Worauf achten?
- Ein eindeutiges, stabiles Merkmal für den Abgleich festlegen, üblicherweise die Artikelnummer aus der Warenwirtschaft.
- Fehlerhafte Datensätze protokollieren und überspringen, damit der Lauf zu Ende geht.
- Einen Wiederaufsetzpunkt vorsehen und ihn mit einem absichtlich abgebrochenen Testlauf prüfen.
- Große Läufe außerhalb der Hauptgeschäftszeit einplanen und über eine Warteschlange entkoppeln.
- Nach jedem Lauf die Zahl der angelegten, aktualisierten und übersprungenen Datensätze gegen die Erwartung halten.
Häufig gestellte Fragen
Worüber sollte ein Import abgleichen?
Über ein eindeutiges und stabiles Merkmal, üblicherweise die Artikelnummer. Bezeichnungen und Namen eignen sich nicht, weil schon eine geänderte Schreibweise einen zweiten Datensatz erzeugt.
Was geschieht bei fehlerhaften Datensätzen?
Sie werden protokolliert und übersprungen, damit der übrige Lauf zu Ende geht. Ein Abbruch beim ersten Fehler verhindert die Aktualisierung aller nachfolgenden Datensätze.
Warum braucht ein Import einen Wiederaufsetzpunkt?
Weil ein unterbrochener Lauf sonst einen halb aktualisierten Bestand hinterlässt. Mit einem Wiederaufsetzpunkt arbeitet der nächste Versuch an der Abbruchstelle weiter, ohne bereits verarbeitete Datensätze erneut anzulegen.