ObraIndex
Em evoluçãoEngenharia de Dados aplicada à leitura histórica dos preços de materiais da construção civil.
Fonte oficial dos dadosAPI de Dados Abertos — Compras.gov.brOrganizar registros operacionais de compras governamentais em uma base confiável, rastreável e preparada para análises do setor.
- 01Como os preços dos materiais evoluem ao longo do tempo?
- 02Quais materiais apresentam maior volatilidade?
- 03Existem diferenças relevantes entre estados e regiões?
- 04Quais materiais registraram as maiores altas ou quedas?
Uma base arquitetural modular e rastreável, preparada para evoluir da ingestão pública ao consumo analítico.
Uma arquitetura para preservar, tratar e servir dados.
O fluxo separa cada responsabilidade para manter a origem rastreável e entregar estruturas adequadas à análise.
Ampliar diagramaClassificaçãoData Lake + Medallion Architecture + Analytical Serving Layer
Como o projeto foi construído.
Cada tecnologia ocupa uma responsabilidade clara dentro do fluxo, do dado operacional à leitura de negócio.
- 01
Definição do problema
O projeto partiu da necessidade de acompanhar evolução, diferenças regionais e volatilidade dos preços de materiais da construção.
- 02
Ingestão rastreável
Python consulta a API do Compras.gov.br com paginação, retries e backoff, adicionando metadados técnicos aos registros da Bronze.
- 03
Armazenamento em camadas
O MinIO separa os estágios Bronze, Silver e Gold para preservar rastreabilidade e permitir reprocessamentos.
- 04
Tratamento e qualidade
A Silver padroniza tipos, deduplica registros, cria atributos analíticos e sinaliza dados inválidos e outliers.
- 05
Modelagem analítica
A Gold foi estruturada para organizar data marts mensais por material e estado, preparando comparações históricas e regionais.
- 06
Publicação planejada
PostgreSQL e Metabase formam a camada prevista para consultas, indicadores e leitura acessível dos dados tratados.
Detalhes que sustentam a implementação.
Decisões de engenharia que tornam a coleta auditável, a qualidade verificável e o escopo do MVP transparente.
Coleta resiliente
A ingestão foi preparada para lidar com volume, paginação e instabilidades da API.
- Retries para falhas HTTP
- Exponential backoff
- Processamento página a página
Rastreabilidade por lote
Cada registro recebe contexto técnico para facilitar auditoria e investigação da origem.
- Run ID e timestamp
- CATMAT e página de origem
- Hash SHA-256 do registro
Qualidade preservando evidências
As regras sinalizam problemas sem apagar o dado original nem esconder exceções relevantes.
- Tipagem e deduplicação
- Chave de negócio
- Flags de inválidos e outliers
Fronteira atual do MVP
A DAG publicada executa as validações e a Bronze; as demais integrações seguem em evolução.
- Silver e Gold codificadas
- Watermark persistente pendente
- Serving analítico planejado
A pesquisa ganhará forma neste espaço.
Os resultados do ObraIndex serão publicados aqui à medida que a análise avançar, com evidências, contexto e conclusões derivadas dos dados.
Indicadores de preços
Séries históricas, variações e comparações dos materiais analisados.
Conteúdo em preparaçãoPadrões regionais
Diferenças entre estados e regiões identificadas a partir dos dados tratados.
Conteúdo em preparaçãoInsights da pesquisa
Leituras, conclusões e sinais relevantes para apoiar novas decisões.
Conteúdo em preparação