Fase 1: report unificato — validazione in memoria, non più file su disco

[Gabrymi93]

Sintesi

I 3 file di validazione intermedi (raw_validation.json, _validate/clean_validation.json, _validate/mart_validation.json) non vengono più scritti su disco. Le validazioni restano in memoria durante il run e vengono incluse nel run record finale (_runs/{dataset}/{year}/{run_id}.json).

Cosa cambia

• Refactor / performance

Dettaglio

Prima	Dopo
RAW → scrive raw_validation.json	RAW → validazione in memoria
CLEAN → scrive clean_validation.json	CLEAN → validazione in memoria
MART → scrive mart_validation.json	MART → validazione in memoria
run_raw() chiamava validate + write (duplicato)	run_raw() fa solo fetch — validazione delegata a run_raw_validation()
merge_layer_manifest() con 8 parametri	merge_layer_manifest() con 3 parametri (solo outputs)
build_run_report() rileggeva 3 file da disco	build_run_report() riceve validazioni da memoria
run record SENZA validazioni	run record CON validazioni (passed, errors, warnings, stats, sections)

Impatto su contratti pubblici

Nessuno. I 3 file di validazione intermedi NON erano contratti pubblici.

• dataset-incubator: usa push_archive.py (legge run record, non validation files) ✅

Verifica

Testato end-to-end su dipendenti-pubblici (40.521 righe reali):

RAW   ✅ 0 errori, qualità 100
CLEAN ✅ 40.521 righe, PAQA 95, 2 warning
MART  ✅ 5 tabelle, 581 righe aggregate

• ruff check . passa
• Test su candidato reale dataset-incubator

Note

• I vecchi file di validazione (da run precedenti) restano su disco — non vengono cancellati. Semplicemente non vengono più scritti.
• inspect summary continua a funzionare: legge dal run record per i nuovi run, fallback ai file su disco per i vecchi.
• merge_layer_manifest() non accetta più validation_path, ok, errors_count, warnings_count.