Skip to content

Adicionar controle incremental por fonte e timestamp de coleta #12

Description

@pmarcura

Contexto

Fontes públicas não são tempo real e podem mudar. O DeOlho precisa registrar quando coletou, quando a fonte publicou e qual cursor/estado permite continuar a atualização. Esta issue pertence ao épico #3.

Critérios de aceite

  • Cada fonte tem cursor ou watermark persistido para sincronização incremental.
  • Registros armazenam data publicada, coletada e atualizada quando disponíveis.
  • Recoletas preservam histórico suficiente para detectar mudança relevante depois.
  • Erros de rede, rate limit ou fonte incompleta ficam observáveis e reexecutáveis.
  • UI futura consegue declarar dado desatualizado com base em threshold por fonte.

Fora de escopo

  • Prometer atualização em tempo real.
  • Alertas para usuários finais.
  • Ingestão municipal despadronizada.

Referências

  • DATA-04
  • DATA-05
  • TRUST-03
  • TRUST-05

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:dataIngestão, normalização, fontes e banco de dados.area:trustSistema de confiança, evidência e proveniência.priority:p1Prioridade alta, mas não bloqueia a fundação.status:readyPronto para implementação.type:infraInfraestrutura, tooling, CI ou base técnica.

    Projects

    No projects

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions