Datenmigrationen: Herausforderungen und Chancen für die Daten Qualität

Datenmigrationen: Herausforderungen und Chancen für die Daten Qualität

Technologien, Systeme und Geschäftsanforderungen entwickeln sich stetig weiter. Angesichts der stetigen Veränderung und der verkürzten Halbwertszeit von Systemen, kommen viele Unternehmen früher oder später an den Punkt und lösen bestehende IT Systeme ab. Bei der Ablösung eines Systems, das Hardware und Software umfasst, ist ein weiterer wesentlicher Bestandteil die Migration der Daten. Bei der Daten Migration werden die Daten aus dem ursprünglichen Quellsystem in das neue Zielsystem übertragen. Dies ist ein komplexer Vorgang bei dem die Daten Qualität ein kritischer Faktor darstellt. Aber es bieten sich auch Chancenum Ordnung in den Daten zu schaffen.  

Zentrale Prozesse und Qualitäts Themen der Daten Migration

Die Daten Migration besteht grundsätzlich aus drei Hauptprozessen:

  • Das Extrahieren der Daten aus dem Altsystem
  • Das Transformieren der Daten
  • Das Laden der Daten in das neue System

Der zentrale Teil ist das Transformieren der Daten in die neue Struktur und die neuen Wertebereiche. Dieser Prozess sollte möglichst automatisiert durchgeführt werden, damit der Aufwand nicht ausufert.

Um Daten automatisiert zu verarbeiten, müssen sie eine möglichst hohe Qualität aufweisen. Ein wichtiger Faktor ist dabei die Korrektheit und Vollständigkeit der Daten. Dazu gehört unter anderem:

Korrigieren oder nicht korrigieren?

Fehlen zum Beispiel bei zu migrierenden Kontakten bestimmte Informationen, wie die Anrede, gibt es mehrere Möglichkeiten das Thema anzugehen. Entweder

  • man korrigiert die fehlenden Inhalte,
  •  übernimmt die Daten mit mangelhafter Qualität oder
  •  wählt einen Mischansatz.

Alle Vorhaben haben natürlich Vor- und Nachteile.

Wird entschieden die Daten zu korrigieren, werden qualitativ hochwertige Daten ins neue System überführt. Da die Bereinigung zusätzlich Zeit in Anspruch nimmt, hat man je nach Projektplanung nicht die Möglichkeit den zusätzlichen Aufwand zu betreiben.
Wählt man den Ansatz, dass die unvollständigen Daten ins neue System übernommen werden, ist der Vorteil, dass nicht zusätzliche Zeit für die Bereinigung aufgewendet wird. Man übernimmt jedoch Altlasten in das neue System, die später Auswirkungen auf auf Prozesse und Effizienz haben.
Beim Mischansatz gilt es abzuwägen, welche Daten Qualitäts-Probleme bereinigt werden sollen und in welchem Ausmass. Bei fehlender Anrede könnte zum Beispiel anhand eindeutiger Vornamen die Anrede automatisch gesetzt werden. Die restlichen Kontakte ohne Anrede, könnte entweder leer übernommen oder manuell korrigiert werden. Der Vorteil von diesem pragmatischen Ansatz ist, dass ein Grossteil der Daten mit überschaubarem Aufwand korrigiert werden kann.

Pragmatische Kosten/Nutzen Abwägung

Alle Projekte oder Vorhaben bewegen sich im Spannungsfeld von Kosten und Nutzen. So auch die Daten Qualität.

Es gilt einen pragmatischen Ansatz zu wählen um Kosten als auch Nutzen in Balance zu halten. In manchen Fällen ist es sinnvoll die schlechten Daten zu bereinigen, bevor man sie in das neue System migriert. Vor allem bei mangelnder Qualität der Stammdaten, welche die Grundlage vieler Prozesse sind. Bei komplexen Daten Qualitätsproblemen wie z.B. Dubletten ist es empfehlenswert, die Bereinigung bei der Planung zu berücksichtigen. Diese Vorhaben sollten mit dem Projektmanagement frühzeitig und gut abgestimmt sein.

Datenmigrationen bieten oft eine gute Gelegenheit mangelhafte Daten Qualität zu korrigieren. Es können mehrere Themen auf einmal angegangen werden, ohne für jedes ein eigenes Vorhaben zu starten. Es ist jedoch Vorsicht geboten. Ist man auf den Geschmack gekommen Bereinigungen im Rahmen der Transformation durchzuführen, ist es wichtig Prioritäten zu setzen. Es kann leicht passieren, dass alle möglichen Daten Qualitätsverletzungen auf einmal korrigiert werden wollen und das eigentliche Ziel, die Daten Migration, aus den Augen verloren geht.

Newsletter

* Erforderliche Eingaben
Das Paradoxon von Daten Qualität: Jeder ist verantwortlich, niemand fühlt sich verantwortlich

Das Paradoxon von Daten Qualität: Jeder ist verantwortlich, niemand fühlt sich verantwortlich

Im heutigen digitalen Zeitalter werden in Unternehmen ununterbrochen Daten erzeugt. Bei der Arbeit von Daten gibt es zwei Rollen:

  • der Datenlieferant und
  • der Datennutzer.

Der Datenlieferant stellt die Daten zur Verfügung oder erstellt diese. Der Datennutzer verwendet die ihm zu verfügung gestellten Daten als Grundlage für seine Tätigkeit.
Meist sind die Rollen über verschiedene Abteilungen oder Teams verteilt. Das heisst ein Team erzeugt die Daten und stellt sie dem nächsten Team für die Nutzung zur Verfügung.
Es kann jedoch sein, dass ein Mitarbeiter, je nach Tätigkeiten die er ausübt, verschiedene Rollen einnimmt. So kann zum Beispiel der Kundendienst einen Neukunden in der Rolle als Datenlieferant erfassen. In der Rolle als Datennutzer gibt er dem Kunden Auskunft über den Status seiner Bestellung.

Verschieden Sichten, Verschiedene Ansprüche

So unterschiedlich die Sichten der einzelnen Datennutzer auf die Daten sind, so verschieden sind auch die Qualitäts-Ansprüche an diese. Je nach Tätigkeit die der Mitarbeiter ausführt, können die gleichen Daten gute oder schlechte Qualität aufweisen.
Fehlt zum Beispiel bei den Kunden Adress-Daten die Postleitzahl, ist die Daten Qualität für die Logistik ungenügend, da sie das Paket nicht verschicken können. Für den Telefonverkauf haben die Daten eine ausreichende Qualität. Sie können den Kunden über die Telefonnummer erreichen und ihrer Tätigkeit, trotz fehlender Postleitzahl, nachgehen.

Da jede Abteilung ihre eigene Sicht und Anforderungen an die Daten hat, stellen sie mit ihren Prozessen und Richtlinien ihre benötigte Qualität sicher. Sie betreiben ein Daten Qualitäts Management, dass auf ihre Bedürfnisse ausgerichtet ist. Das macht auf den ersten Blick auch Sinn. Die Mitarbeiter der entsprechenden Abteilungen, haben das Wissen über die Arbeitsprozesse und Tätigkeiten. Sie haben das Qualitäts- und Spezialisten Wissen um hohe Daten Qualität für ihren Bereich sicherzustellen. Und so ist jeder Mitarbeiter im Rahmen seiner Arbeit für die Qualität der Daten verantwortlich. Und wo liegt nun genau das Problem…

Alle sind für die Qualität verantwortlich, niemand fühlt sich verantwortlich

Die endgültige Verantwortung für das Qualitäts Management liegt bei der Unternehmensleitung. Wie alle Qualitäts Management Aufgaben ist auch das Daten Qualitäts Management ein abteilungsübergreifendes Thema. Nimmt die Unternehmensleitung ihre Verantwortung nicht wahr und etabliert kein effektives und übergreifendes Daten Qualitäts Management, ist dies ein Signal an die Mitarbeiter. Es zeigt, dass dem Thema nicht Gewicht gegeben wird.

In diesem Fall kommt die Paradoxe Eigenschaft von Qualitätsprozessen zum Tragen:

  1. Jeder ist für die Daten Qualität verantwortlich
  2. Da jeder für die Daten Qualität verantwortlich ist, führt dies zu Inaktivität und es fühlt sich niemand mehr wirklich dafür verantwortlich.

Fehlt die übergeordnete Abstimmung mit klar definierten Verantwortlichkeiten und Aufträgen, führt es dazu, dass die Aufgabe nicht mit der nötigen Sorgfalt und Umsicht wahrgenommen wird. Werden die Daten nur in Silos hinsichtlich ihrer Qualität bearbeitet, und der Gesamt Kontext nicht berücksichtigt, führt das zu wiederkehrendem und identischen Bereinigungsaufwand in unterschiedlichen Abteilungen. Ist das durchgehende Verständnis nicht vorhanden, ist mangelhafte Daten Qualität garantiert.

Das Daten Management ist im eine Unterstützungsaufgabe im Unternehmen, deren Ziel eine hochwertige Daten Qualität ist. Wie die Daten horizontal zwischen die Abteilungen der Organisation fliessen, sollte auch das Daten Management Abteilungsübergreifend agieren. Wichtig ist die verschiedenen Abteilungen mit ihren Prozesse, Sichten und Bedürfnisse zu verstehen. Nur so lässt sich effektiv die Daten Qualität steigern.

Newsletter

* Erforderliche Eingaben
Warum sich Prävention bei den Stammdaten exponentiell lohnt

Warum sich Prävention bei den Stammdaten exponentiell lohnt

Aus der Software Entwicklung ist es den meisten bekannt, der Fehler ist umso kostengünstiger je früher dieser gefunden wird. Bei den Stammdaten ist das Problem ähnlich, es wird jedoch oft nur halbherzig thematisiert. Darum ist es höchste Zeit für eine Sensibilisierung zur Daten Qualität Prävention.

Stammdaten, die Basis der Wertschöpfungsprozesse im Unternehmen

Die Stammdaten (Kundenstämme, Artikelstämme, Bankenstämme usw.) bilden die Grundlage für die wertschöpfenden Prozesse. Daten sind in den Mittelpunkt aller geschäftlichen Aktivitäten gerückt. Sie haben einen direkten Einfluss darauf wie effizient die Mitarbeiter ihre Arbeit erledigen, welches Kundenerlebnis geschaffen wird und somit auch auf den Umsatz der das Unternehmen generiert. Die Stammdaten haben eine gewisse Statik und werden von verschiedenen zentralen Teams wie

im Unternehmen wiederkehrend verwendet. Ist ein Datensatz fehlerhaft, haben meist mehrere Teams wiederholt unnötigen Mehraufwand. Was zu längeren Durchlaufzeiten in der gesamten Supply Chain führt von den Bestell-, Rüst und Lieferzeiten. Auch ist das Kapital länger gebunden, weil die Lieferanten, Beschaffungszeiten und Losgrössen nicht optimal gesteuert werden können.

Bleibt schlechte Daten Qualität bestehen steigen die Kosten exponentiell

Und genau damit befasst sich die 1-10-100 Regel (Nicht die Nudel Regel;)) die 1992 von George Labovitz und Yu Sang Chang entwickelt wurde. Sie besagt im übertragenen Sinne, dass es

  • 1 Franken kostet die Daten bei der Eingabe zu prüfen,
  • 10 Franken die fehlerhaften Daten zu korrigieren und
  • 100 Franken den fehlerhaften Datensatz zu belassen.

Die Zunahme der Kosten ist von einer Stufe zur nächsten exponentiell. Am günstigsten ist es in die Prävention zu investieren. Um Daten zu korrigieren, steigen die Investition exponentiell zu dem was in die Prävention hätte investiert werden müssen. Belässt man die fehlerhaften Daten kosten sie exponential zu dem was in die Korrektur zu investieren gewesen wäre.
Die Kosten von fehlerhaften Daten in diesem Model, beschreibt aus meiner Erfahrung gut die versteckten Kosten dieser. Es wird oft lange von den Mitarbeiter sehr viel kompensiert. Das Problem ist, dass die inneffizienten Prozesse und verpassten Marktchancen oft erst bewusst werden, wenn die Daten Qualität sehr schlecht ist.

Der Eisberg von versteckten Daten Qualitäts Kosten

Die verstecken Kosten von schlechter Daten Qualittät kann gut mit einem Eisberg erklärt werden. Der grösste Teil, die Ursachen sind unter Wasser und die Auswirkungen sind der kleine sichtbare Teil über Wasser. Auswirkungen von schlechter Datenqualität können Kundenabgänge, Umsatzeinbussen, Reputationsschäden oder auch verpasste Marktchancen sein.

Ursache von schlechter Daten Qualität können einfache Eingabefehler, ungenügende Standards, Systemfehler oder auch ungenügend definierte Veranwortlichkeiten sein. Oft kann der Zusammenhang von der Auswirkung von schlechter Daten Qualität nicht mit dieser in Verbindung gebracht werden. Manchmal sind die Auswirkungen natürlich auf eine Kombination von Ursachen zurückzuführen. Deswegen ist es schwierig ist die eigentlichen versteckten Kosten von schlechter Daten Qualität zu quantifizieren. Aus diesem Grund geht es oft lange bis ein Unternehmen bereit ist, nachhaltig in Gute Daten Qualtität zu investieren. Dabei braucht es manchmal gar nicht so viel. Zu Beginn können regelmässige Stichproben schon, gute Hinweise geben, wo etwas verbessert werden soll.

Die Datenmenge nimmt jährlich um 40% zu

Im digitalen Zeitalter nimmt die Menge produzierter Daten laufend zu. Jährlich steigt die die Daten Menge in Unternehmen im Durchschnitt um 40% an. Dies führt dazu, dass wenn Daten Prozesse nicht sauber definiert bzw. abgestimmt sind, oder ein systemischer Fehler vorliegt, immer mehr fehlerhafte Daten in den Systeme hinzukommen. Somit verteuern sich die Daten Korrekturen laufend.

Es lohnt sich also früher als später in die Prävention beziehungsweise gute Daten Qualität zu investieren. Je früher begonnen wird in die Daten Qualität zu investieren desto günstiger ist es. Nicht nur in Bezug auf die Investitionskosten sondern auch in Bezug auf Prozesseffizienz, verpassten Verkaufs- und Marktchancen. Das sollte doch Motivation genug sein, in die Prävention von schlechter Daten Qualität zu investieren 😉

Newsletter

* Erforderliche Eingaben
Den Stellenwert der Daten Qualität neu definieren

Den Stellenwert der Daten Qualität neu definieren

Ich habe einen Traum, dass in Zukunft das betreiben von Daten Qualität den gleichen Stellenwert einnimmt, wie das Betreiben der IT Infrastruktur.

Es ist heutzutage selbstverständlich, dass die Informatik Systeme instand gehalten werden mit Software Updates, Anti Viren Programmen und ihr Zustand überwacht wird. Die IT Systeme werden sorgfältig gewartet ohne Diskussion über Nutzen oder Kosten.

Doch bei den Daten verhält es sich paradoxer Weise völlig anders. Es werden hundert tausende wenn nicht sogar Millionen von Franken in teure technische Systeme investiert. Mit diesen werden Daten verwaltet, analysiert, ausgewertet oder statistische Modelle für die Automatisierung erarbeitet. Doch wenn es darum geht in die Grundlagen, die Daten Qualität zu investieren, ist das Budget meist stark limitiert. Mehr als einmal hörte ich die Begründung, dass sich das Thema Daten Qualtität im oberen Management strategisch schlecht verkaufen lässt.

Warum es sich trotzdem lohnt in die Daten Qualität zu investieren

Dabei ist eine saubere Datengrundlage, genau wie ein robustes, solides IT System, die Basis damit die Mitarbeiter ihre eigentliche Aufgabe erfüllen und Wertschöpfung generieren können. Aus diesem Grund sollten die Daten Qualität genau wie IT Systeme regelmässig überwacht und bei Bedarf Korrektur Massnahmen eingeleitet werden. Ein paar Zahlen, um aufzuzeigen, dass sich lohnt in die Daten Qualität zu investieren . Schlechten Daten verursachen:

  • 20-30% der operativen Kosten (Pragmaticworks),
  • bis zu 20% Umsateinbussen (Kissmetrics),
  • bei 21% der Unternehmen Reputationsschäden (Econsultancy.com),
  • dass sich Data Scientisten und Daten Analysten 60% der Zeit mit organisieren und korrigeren von schlechten Daten beschäftigen. (CrowdFlower)

Leider konnte ich keine Studie finden, wie viel Zeit beim Marketing und im Kundendienst für die Bearbeitung schlechter Daten Qualität aufgewendet wird. Aber ich bin überzeugt, das gäbe knackige Zahlen:)

Die Datenmenge verdoppelt sich in Unternehmen alle 2 Jahre

Zu Berücksichtigen ist, dass wir uns im digitalen Zeitalter befinden, in dem sich die Datenmenge in Unternehmen im Schnitt alle 2 Jahre verdoppeln. Damit vervielfachen sich auch die fehlerhaften Daten. Je länger gewartet wird um die Daten Qualität zu verbessern, desto mehr Daten müssen korrigiert werden. Was dazu führt, dass einerseits ein Unternehmen schon über einen längeren Zeitraum Umsatz Einbussen hat und andererseits sind aufgrund der grösseren Daten Menge die Korrekturen teurer. Je früher ein Unternehmen ein ausgereiftes Daten Management betreibt, desto eher kommt es aus dem Strudel.

Auf die Plätze, fertig,…

Momentan wissen die Mehrheit der Unternehmen nicht wie sie ihre Daten effektiv Managen sollen. Die Vorreiter werden sich einen massiven Vorteil erschaffen, den für die anderen schwer aufzuholen wird. Ich bin sehr gespannt, welche Unternhemen sich diesen Platz sichern werden… to be continued

Newsletter

* Erforderliche Eingaben
Gesamtheitliches Daten Management

Gesamtheitliches Daten Management

Aus meiner Erfahrung im Bereich Daten Management und Stammdaten Verantwortung hat sich für herauskristallisiert, dass es nicht reicht nur eine gute IT Infrastruktur zu pflegen oder nur sorgfältiges Datenmanagement zu betreiben. Für eine nachhaltige hochwertige Datenqualität braucht es mehr. Es spielen viele Faktoren eine Rolle die wie Zahnräder ineinander greifen müssen. Folgende Bereiche haben einen wesentlichen Einfluss auf die Stamm Daten Qualität :

Daten Management

Wird im Unternehmen regelmässig geprüft ob die Datenqualität noch den Anforderungen entspricht? Oder ist überhaupt definiert was für Anforderungen in ihrem Unternehmen an die Daten und Datenqualität besteht? Dies sind zwei Grundlegende Fragen die zu beantworten sind, damit die Daten überhaupt langfristig eine gute Qualität aufweisen können. Wenn nicht definiert ist, was die Anforderungen an die Daten sind und wann man im Unternehmen von guter Datenqualität spricht, gibt es keine Messkriterien. Somit kann auch keine Aussage darüber gemacht werden wie es um die Qualität der Daten steht.
Sind die Kriterien definiert aber sie werden nicht regelmässig gemessen, geht man von Vergangenheitswerten aus ohne den aktuellen Zustand zu kennen. Liegt die letzte Messung eine Weile zurück, kann dann schon die eine oder andere Überraschung auftauchen…

IT Systeme

Die lieben IT Systeme sind nicht mehr wegzudenken aus den Unternehmen. Der Hauptknackpunkt liegt darin die IT System auf die Bedürfnisse im Unternehmen bzw. auf die Prozesse abzustimmen. Es kann die schönste, effizienteste, wahrlich eine Kunstwerk von einer IT Landschaft aufgebaut werden. Solange sie nicht die Anforderungen der Mitarbeiter erfüllt wird sie nichts nützen und zu mühseligen Arbeitsprozessen führen. Die Daten werden dann irgendwie ins System reingemurkst. Was dazu führt, dass Informationen in Felder landen wo sie nichts zu suchen haben und wahrscheinlich auch nicht mehr gefunden werden.
Darum ist es wichtig, dass von Anfang an bei der Systemeinführung alle Stakeholder mit ihren Bedürfnissen abgeholt werden und man auch danach im regelmässigen Austausch steht. Nur wenn das IT System passt, passen auch die Daten.

Prozesse

Ich finde es spannend immer wieder festzustellen, wie das Silo Denken in den Unternehmen um sich grassiert. Viele Mitarbeiter in deinem Unternehmen wie Kundendienst, Buchhaltung, Lager, Controlling, Verkauf, Marketing usw. bedienen sich den Kunden Stammdaten. Viele machen jahrelang ihren Job und treffen immer wieder Mal annahmen die nicht dem entsprechen wie der Prozesse gelebt wird. Das kann dazu führen, dass Kunden falsch angeschrieben , wichtige Informationen nicht gefunden oder Auswertungen/Selektionen aufgrund falscher Kriterien gemacht werden.
Um dem entgegenzuwirken sollten die Mitarbeiter die mit (Kunden) Stammdaten arbeiten regelmässig zu dem Stammdaten Erfassungs Prozess geschult werden. So kann proaktiv falschen Annahmen entgegewirkt werden und die Qualität der Arbeit steigern.

organisatorische Verankerung

Um Daten Management oder die Daten Qualität hoch zu halten, müssen entsprechende Verantwortlichkeiten definiert werden. Es braucht Verantwortliche für die Stammdaten, die auch entsprechend Zeit für die Aufgabe zur Verfügung gestellt bekommen. Nur wenn vom Management dem Thema Daten Qualität und Daten Management Gewicht gegeben wird, kann es auch effizient und effektiv von den Mitarbeitern betrieben werden. Dieses Thema braucht strategischen Weitblick. Wenn erst aus der Not heraus, aufgrund katastrophaler Daten Qualität gehandelt wird, ist es sehr viel Knochenarbeit bis zu einer einigermassen anständigen Daten Qualität. Das Kostet seeehr viel Zeit und auch Geld. Was beim heutig schnellebigen Zeitgeist sogar existenz gefährdend sein kann.

Ich bin gespannt auf Eure Erfahrung zu diesem Thema.

Newsletter

* Erforderliche Eingaben