Data Contracts: Bessere Qualität für Daten?

Data Contracts werden zunehmend beliebt, wenn es darum geht, fachliche Daten zwischen verschiedenen Teams auszutauschen. Dabei werden Schema, Semantik und Qualitätsattribute der Datensätze formal spezifiziert. Darüber hinaus werden die Nutzungsbedingungen geregelt und Governance-Vorgaben berücksichtigt. Ein Data Contract kann den vollständigen Lifecycle der Nutzung von Daten abbilden, vom Requirements-Engineering, bis hin zur Kündigung des Datenzugriffs. Die formale Spezifikation ermöglicht es, diese Eigenschaften auch zu testen und damit Vertrauen in die Qualität zu schaffen.

Jochen Christ, Autor von datamesh-architecture.com, zeigt in diesem Vortrag, welche Data Contract Spezifikationen es gibt, wie diese genutzt werden können, und welche Tools dabei hilfreich sein können.

Value for the audience:
Eine unbefriedigende Datenqualität ist heute häufig ein Hemmnis bei der Nutzung von innovativen Diensten wie Machine Learning oder bei datenbasierten Entscheidungen.
Wenn strukturelle oder semantische Veränderungen von Datensätzen nicht erkannt oder kommuniziert werden, führt das häufig dazu, dass Datenpipelines nicht mehr funktionieren oder Reports fachlich falsch oder unvollständig sein können.

Data Contracts sind eine Methode, um Datenschnittstellen klarer zu kommunizieren und automatisiert testbar zu gestalten.

Problems addressed:
Wann sollte man einen Data Contract verwenden? Wann ist dies nicht nötig?

Welche Inhalte sollten formal spezifiziert werden?

Was ist die Unterscheidung zu anderen Spezifikationen wie OpenAPI oder AsyncAPI?

Talk language: German
Level: Advanced
Target group: Architekten, Data Engineers, Product Owner, Head of Data , Head of IT

Company:
innoQ Deutschland GmbH

Jochen Christ