Was ist Datenbereinigung?  

In den meisten Fällen sammeln Unternehmen Daten aus vielen verschiedenen Quellen. Die Informationen sind heterogen und enthalten oft Fehler, leere Werte, Duplikate und andere Elemente, die die Analyse verfälschen. Das ist normal - Daten kommen immer " verunreinigt " an, das liegt in ihrer heterogenen Eigenschaft.  

Um diese Störungen zu beseitigen, gibt es einen speziellen Prozess - die Datenbereinigung, auch Data Cleansing oder Scrubbing genannt. Die Aufgabe der Datenbereinigung besteht darin, mit Hilfe spezieller Werkzeuge und Algorithmen die Fehler zu entfernen und künftige Analysen genauer zu machen.  

Theoretisch können Sie mit der Analyse von Daten auch ohne Bereinigung beginnen. In der Praxis kann dies jedoch zu Problemen führen - zu Diagrammen und Berichten, die nicht der Realität entsprechen, oder beim Einsatz maschinellen Lernens zu unerfüllten Prognosen. Deshalb setzt eine kompetente Arbeit mit Daten zwingend eine Vorbereinigung voraus.  

Die Datenbereinigung ist auch eine wichtige Phase des maschinellen Lernens. Wenn ein Modell auf nicht bereinigten Daten trainiert wird, erlernt es verfälschte Eigenschaften, weshalb es eine niedrige Trefferquote hat und völlig unzureichende Ergebnisse liefert. 

Wie ein Datenexperte die Bereinigung vornimmt  

Es gibt keine Einheitslösung für die Bereinigung von Daten von allen Fehlern. In der Regel besteht der Prozess aus einer Kombination verschiedener Datenbereinigungsmethoden, die zusammen Duplikate, Tippfehler und andere Arten von Fehlern konsequent entfernen.   

Ein Spezialist könnte zum Beispiel diese einfachen Methoden anwenden: 
● Fehlerhafte Datensätze nach einem bestimmten Kriterium löschen - z. B. den neuesten Zustand behalten und alle älteren löschen. Diese Methode eignet sich gut für doppelte oder widersprüchliche Daten.  

● Die Daten statistisch korrigieren. Wenn die Löschung zu falschen Analysen führen würde, können die Daten korrigiert werden, indem ein statistisch angenäherter Wert eingefügt wird wie zum Beispiel der Mittelwert.  

● Datensätze vergleichen und den passenden Wert auswählen.  

● Ein Wörterbuch anwenden, das Tippfehler korrigiert. Dazu müssen Sie im Vorfeld die häufigsten Fehler und Tippfehler in den Textfeldern sammeln. Dann genügt es, das Wörterbuch auf die Daten anzuwenden, und es wird automatisch alle Unstimmigkeiten ersetzen. 

Es ist wichtig zu bedenken, dass jeder Fall anders ist. Lassen Sie sich nicht dazu verleiten, Daten nur automatisch zu bereinigen - was bei einem Datensatz funktioniert, funktioniert bei einem anderen möglicherweise nicht. Es lohnt sich immer zu prüfen, wie die Anomalien zustande gekommen sind, und Hypothesen über die Ursachen der Verzerrungen aufzustellen. Aus den Überlegungen und der Analyse von Optionen entstehen oft Methoden zur Fehlerkorrektur. Da Computer noch nicht assoziativ denken können, ist es schwierig, ohne eine sorgfältige menschliche Untersuchung der Daten auszukommen. Jede Analyse ist wie eine detektivische Untersuchung, wozu Computer noch nicht in der Lage sind.