Teil 9. Raw- und Bronze-Landung

Raw und Bronze sind für die Reproduzierbarkeit des Eingangs verantwortlich. Im Lernbeispiel ist raw eine Reihe von CSV-Dateien, die von scripts/generate_data.py erzeugt werden. Im produktiven Datenstrom kann raw eine Landezone in einem Objektspeicher, einem Kafka-Topic, einer CDC-Tabelle oder einer externen Quelle sein. Das Prinzip ist jedoch dasselbe: Auf dem ersten Schritt darf die Bedeutung der Daten nicht verändert werden.

Raw

Die Raw-Schicht beantwortet die Frage „Was ist gekommen". Sie darf nicht:

• Geschäftsfelder umbenennen;
• Zeilen löschen;
• PII verbergen;
• Werte ohne Beweise korrigieren;
• aggregieren.

Wenn die Quelle ein leeres revoked_at enthält, speichert raw ein leeres revoked_at. Die Entscheidung „ein leerer Wert bedeutet eine aktive Einwilligung" entsteht später, in der Staging-Spezifikation.

Bronze

Bronze fügt eine minimale technische Normalisierung hinzu: Dateiformat, grundlegende Typenverarbeitung, Lade-Metadaten, Lineage. Im dbt-duckdb-Lernbeispiel gibt es fast keine separate Bronze-Schicht, weil die CSV direkt von Staging-Modellen gelesen werden. Im Text ist es jedoch wichtig, die Grenze zu verstehen: Bronze darf keine Produktentscheidungen treffen.

Überprüfbarkeit

Raw/Bronze-Abnahmefakten:

• Quelldateien sind vorhanden;
• die Header sind erwartet;
• die Erzeugung synthetischer Daten ist reproduzierbar;

• die Semantik leerer Werte und null ist im Manifest beschrieben;
• PII geht nicht verloren, bevor die Richtlinie genehmigt ist.

Analyse für den Leser

Raw und Bronze werden oft unterschätzt, weil dort „noch kein Geschäft" steckt. Aber genau dort wird entschieden, ob das Team später die Herkunft der Daten erklären kann. Wenn die Quelldatei wegen eines grünen Tests überschrieben wurde, ist der Fehler nur äußerlich verschwunden: Mit ihm verschwand auch der Beweis, dass die Quelle einen mehrdeutigen Wert geliefert hat. Im Bankenkontext ist das besonders schlecht, weil der Streit oft nicht heute entsteht, sondern in einem Monat, wenn die Berechnung wiederhergestellt werden muss.

Die Raw-Schicht sollte langweilig und ehrlich sein. Sie bewahrt den Eingang. Bronze darf eine minimale technische Normalisierung hinzufügen: Dateilokation, Quellenname, Ladedatum, grundlegende Typisierung, Existenzkontrolle. Aber auch Bronze darf keine Fragen entscheiden, die zum Produkt gehören. Wenn ein leeres revoked_at eine aktive Einwilligung bedeutet, muss das in der Spezifikation und der Staging-Logik festgehalten werden, und nicht in einer manuellen CSV-Korrektur versteckt werden.

Für den Leser ist es nützlich, zwischen Datenkorrektur und Datenbeschreibung zu unterscheiden. Im Lernbeispiel ist die Versuchung groß: die CSV öffnen, die leere Zeichenkette durch ein Datum ersetzen, ein

grünes dbt build erhalten. Aber dieser Weg lehrt falsches Verhalten. Der richtige Weg: festhalten, was gekommen ist; beschreiben, wie Staging die Leere interpretiert; eine Prüfung hinzufügen; in der Prüfnotiz festhalten, warum diese Entscheidung getroffen wurde.

Raw/Bronze ist der Ort, an dem SDD Data das zukünftige Gespräch schützt. Wenn der Reviewer fragt „warum wurden aktive Einwilligungen genau so gezählt", darf die Antwort nicht lauten „so hat es sich nach der Dateibereinigung ergeben". Die Antwort muss zu Raw, Manifest, Spezifikation, Staging und Test führen. Je kürzer diese Beweiskette ist, desto weniger Vertrauen verdient das Datenvitrinchen.

Übung

Suchen Sie in der Raw-Quelle ein Feld mit mehrdeutiger Semantik des leeren Werts. Notieren Sie, wo es als Raw-Fakt gespeichert, wo typisiert und wo in eine Geschäftsregel umgewandelt werden muss.

Qwen-Abfrage

Überprüfe die Raw-Quellen in book3/examples/bank-lakehouse/raw.
Vergleiche die Header mit den erwarteten Quellen aus der Domänenkarte.
Erstelle eine Liste der Quellenfakten und offenen Fragen.
Ändere keine dbt-Modelle.

Minimale Ausgabe

Nach dem Kapitel:

• Raw-Dateien können mit einem Befehl erzeugt werden;
• das Lernbeispiel enthält Manifest-Notizen für mindestens zwei Quellen, und

die übrigen Quellen werden als Übung behandelt;

• strittige Werte sind als offene Fragen gekennzeichnet;
• niemand hat die Raw-Bereinigung mit dem Geschäftsmodellieren verwechselt.

Typischer Fehler

Raw-Daten korrigieren, damit „dbt build durchläuft". Wenn dbt build wegen eines leeren Datums fehlschlägt, korrigieren Sie den Staging-Vertrag oder die Typenverarbeitung, und löschen Sie nicht das ursprüngliche Signal aus Raw.

Kontrollfragen

1. Warum darf Raw keine PII entfernen?
2. Wo muss entschieden werden, dass ein leeres revoked_at eine aktive Einwilligung bedeutet?
3. Welche Abnahmefakten hat die Raw/Bronze-Schicht?