Data Engineering - Einleitung

Data Engineering

Vor der Datenanalyse bzw. -modellierung müssen Ihre Daten aufbereitet werden. Dazu gehören u.A. die...

Datenauswahl


Selektion und Bereitstellung der für die Analyse / Modellierung notwendigen Daten.

Datenbereinigung


Durchführung von Fehlererkennungs- bzw. Fehlerkorrekturschritten für beispielsweise fehlerhafte Daten / Datenpunkte

Datenstandardisierung

Vereinheitlichung von Eingabedaten der ML-Tools, um das Risiko fehlerhafter Eingabedaten zu reduzieren.

Data Engineering - Data Engineering Tools

Mit unseren Data Engineering Tools stellen wir zuverlässige Datenströme aus unterschiedlichsten Quellen bereit und wir stellen die nötige Infrastruktur für den optimalen Workflow Ihres Data Science Projekts her:

Data Engineering - Abschluss neu

In unserem Team beschäftigen wir uns ständig mit den neuesten Technologien, um maßgeschneiderte Lösungen für möglichst viele Use Cases in modernen datengetriebenen Projekten zu bieten. In folgenden Medium-Artikeln zeigen wir Schritt für Schritt mögliche Umsetzungen auf Basis unserer technischen Expertise:

Data Pipelines with Monitoring Tools

Schritt für Schritt Anleitung für den Aufbau eines Data Stacks

On Premise Data Lake

Erstellung eines Storage Layers für jedes Data-Science-Projekt in einer On-Premise-Konfiguration

Computer Vision from Scratch

Bau eines CNN-Modells mit Tensorflow und Keras, um Krankheiten in Blättern festzustellen

Change Data Capture using Debzium Kafka

Nutzung von Debezium, um Änderungen und Transaktionen bei der Nutzung von Databases