Data Engineer Spickzettel

Tipp

Drucke diese Seite (Cmd+P) als Schreibtischreferenz.

Build Pipeline

jinflow make                         # Standard-Tenant bauen
jinflow make millesime.domaine_zufferey   # bestimmten Tenant
jinflow make millesime                    # alle Tenants im Pack
jinflow make --all                   # alle Tenants, alle Packs
jinflow make --clean                 # loeschen + von Grund auf neu bauen
jinflow make --sync                  # CSVs von DLZ zuerst kopieren
jinflow make --extract               # XLSX → CSV → Sync → Build
jinflow make --snapshot post-audit   # KLS nach Build einfrieren

Build-Phasen

Phase	Was passiert
0a	XLSX → CSV extrahieren (wenn --extract)
0b	DLZ → raw/ synchronisieren (wenn --sync)
1	CSVs validieren + anreichern
2	Instrumente kompilieren (Signals, Theses, Verdicts, SMEbits, Reports, Entities, Lineage)
3a	dbt Build: Bronze → Silver → Gold
3b	dbt Build: Signals → Perspectives → Theses → Verdicts → SMEbits
3c	dbt Build: Lineage
3d	dbt Build: Reports
4	Pipeline Graph, PDF-Berichte, Calibration
5	Metadaten stempeln, AFS-Archiv backen, SIS erstellen

Medallion-Ebenen

Ebene	Zweck	Materialisierung	Kernprinzip
Bronze	Strukturelle Einnahme	TABLE	Source-System Dispatch, fuegt source_file + row_number hinzu
Silver	Domain-Validierung	TABLE	is_valid + invalid_reason auf jeder Zeile
Gold	Konsumvertrag	VIEW	Nur is_valid = true, quellsystem-agnostisch
Platform	Cross-Tenant	VIEW	UNION ALL mit tenant_id

Instrumenten-Kompilierung

# Validieren (YAML gegen Contracts pruefen)
python3 scripts/probecheck.py
python3 scripts/hypothesischeck.py
python3 scripts/diagnosischeck.py
python3 scripts/smebitcheck.py
python3 scripts/reportcheck.py

# Kompilieren (YAML → dbt SQL)
python3 scripts/probecompile.py          # --check fuer Trockenlauf
python3 scripts/hypothesiscompile.py
python3 scripts/diagnosiscompile.py
python3 scripts/smebitcompile.py
python3 scripts/reportcompile.py

Tenant-Verwaltung

jinflow init --tenant my_analysis --source-system csv        # von Grund auf
jinflow init --pack millesime --tenant domaine_zufferey --source-system opale  # aus Pack
jinflow clone millesime.domaine_zufferey --name sandbox          # Tenant klonen
jinflow us millesime.domaine_zufferey                            # als Standard setzen
jinflow ls                                                  # alle Tenants auflisten
jinflow stat                                                # KLS Gesundheitscheck

Umgebungsvariablen

Variable	Zweck
JINFLOW_LIVE	Live Root ueberschreiben
JINFLOW_TENANT	Standard-Tenant ueberschreiben
JINFLOW_DB_PATH	Expliziter KLS-Pfad (Explorer)
JINFLOW_AFS_ROOT	AFS Root (Explorer)
JINFLOW_SYSTEM_DB_PATH	System DB Pfad
JINFLOW_PACKS_ROOT	Pack Repos Verzeichnis
ANTHROPIC_API_KEY	Claude API Key (Evolve)