Teil 8. Quellen und Schema-Manifest

Quellenprofilierung ist ein Beobachtungsmodus, kein Entwurfsmodus. Der Agent sollte die Kopfzeilen von Rohdateien, Stichproben von Zeilen und einfache Statistiken lesen, aber nicht eigenständig die Geschäftsbedeutung entscheiden. In diesem Schritt sammeln wir Fakten und offene Fragen, um den Vertrag nicht auf Vermutungen zu schreiben.

Was profiliert werden soll

Für jede Quelle:

• Datei- oder Tabellenname;
• Liste der Felder;
• beobachteter Typ;
• leere Werte und Felder, die null zulassen;
• Schlüsselkandidaten;
• PII-Kandidaten;
• Aktualität oder Ausladedatum, falls vorhanden;
• Fragen an den Menschen.

Beispiel:

Quelle: raw/open_api_consents.csv
Felder: consent_id, customer_id, scope, granted_at, revoked_at
Schlüsselkandidat: consent_id
PII-Kandidaten: customer_id — synthetischer Bezeichner, keine direkten PII
Offene Frage: Bedeutet ein leeres revoked_at eine aktive Einwilligung?

Warum das Manifest getrennt vom Vertrag ist

Das Manifest beschreibt das Beobachtete. Der Vertrag beschreibt das Zugesicherte. Wenn es in der Quelle ein Feld pii_email gibt, muss das Manifest es anzeigen. Der Vertrag kann verbieten, dass es in den Mart gelangt. Wenn diese Schichten vermischt werden, beginnt der Agent, die Quelle zu „bereinigen", bevor der Mensch die Richtlinie genehmigt hat.

Qwen-Abfrage

Lies die Kopfzeilen der rohen CSV und die ersten Zeilen.
Erstelle ein Schema-Manifest: Felder, beobachtete Typen, Schlüsselkandidaten, PII-Kandidaten,
Aktualitätshinweise und offene Fragen.
Schreibe keine dbt-Modelle. Entscheide den Grain nicht ohne Genehmigung.

Minimale Ausgabe

Erstellen Sie ein Entwurfsmanifest für mindestens zwei Quellen. Im ausführbaren Beispiel sind solche Dateien bereits vorhanden:

specs/source-manifests/card_transactions.md
specs/source-manifests/open_api_consents.md

Format:

# Schema-Manifest: card_transactions

## Beobachtete Felder
## Schlüsselkandidaten
## PII-Kandidaten
## Qualitätshinweise
## Offene Fragen

Offene Fragen sind keine Schwäche. Es ist ein Schutz vor versteckten Vermutungen.

Analyse für den Leser

Quellenprofilierung erfordert Zurückhaltung. Der Agent sieht das Feld risk_flag und möchte ihm sofort Geschäftsbedeutung verleihen. Sieht ein leeres revoked_at und möchte entscheiden, dass die Einwilligung aktiv ist. Sieht stage und könnte sich an die Kreditmethodik erinnern. In diesem Moment ist es am nützlichsten, sich die Interpretation zu verbieten. Quellenprofilierung ist nur für die Beobachtung zuständig: welche Felder vorhanden sind, welche Typen real wirken, welche Werte leer sind, welche Schlüssel stabil erscheinen.

Das Manifest schützt die Rohschicht vor verfrühter Bereinigung. Wenn es in der Quelle eine Auffälligkeit gibt, muss sie zunächst notiert und nicht behoben werden. Ein leeres Datum kann ein Fehler, eine zulässige Art der Kodierung einer aktiven Einwilligung oder eine Folge von Datenverlust sein. Diese Varianten erfordern unterschiedliche Entscheidungen. Wenn der Agent die Leere sofort durch einen bequemen Wert ersetzt, sieht der Prüfer die Frage nicht mehr, die an den Menschen hätte gehen sollen.

Der Abschnitt „offene Fragen" ist daher kein Zeichen für schwache Arbeit. Im Gegenteil, er zeigt, dass der Autor keine Vermutung als Tatsache ausgibt. In der Data Engineering entstehen viele Fehler nicht deshalb, weil jemand SQL nicht konnte, sondern weil eine Frage zu früh geschlossen wurde. „Sieht aus wie ein Schlüssel" wurde zum Schlüssel. „Sieht aus wie PII" blieb ohne Richtlinie. „Sieht aus wie eine aktive Einwilligung" landete im Bericht.

Ein gutes Manifest liest sich wie ein Tatortinspektionsprotokoll: Das wurde gefunden, das wurde gemessen, das wirkt verdächtig, das kann nicht ohne den Quelleneigentümer entschieden werden. Ein solches Dokument ersetzt den Vertrag nicht. Es macht den Vertrag ehrlicher, weil der Vertrag nicht mit dem Wunschbild beginnt, sondern mit dem, was tatsächlich angekommen ist.

Übung

Öffnen Sie specs/source-manifests/card_transactions.md und

specs/source-manifests/open_api_consents.md. Schreiben Sie zu jeder offenen Frage, was kaputtgehen könnte, wenn der Agent sie eigenständig entscheidet.

Typischer Fehler

Zu glauben, dass der Feldname die Bedeutung vollständig bestimmt. risk_flag kann ein Quellflag, eine Anti-Betrugs-Regel oder ein Lern-Platzhalter sein. Vor der Genehmigung durch den Menschen ist es nur ein Kandidat.

Kontrollfragen

1. Warum sollte die Quellenprofilierung nicht sofort SQL schreiben?
2. Worin unterscheidet sich der beobachtete Typ vom vertraglichen Typ?
3. Welche Fragen müssen zu einem leeren revoked_at gestellt werden?