Plataforma full-stack de ETL e analytics com CSV, JSON, dados sintéticos, coleta web controlada, revisão manual de candidatos, arquitetura Medallion simplificada em Parquet, DuckDB e dashboard Vue.
- FastAPI
- Vue 3
- DuckDB
- Parquet
- Pandas
- Docker
- TypeScript
Contexto e problema #
Mercados remotos mudam rápido e exigem dados comparáveis sobre stack, senioridade, localização, salário e origem da vaga.
Minha contribuição #
O case evidencia ingestão multiformato, coleta web transparente, normalização, métricas de qualidade, lineage e produto analítico.
Arquitetura #
O pipeline registra fontes, coleta candidatos, aplica revisão manual e transforma dados em camadas Bronze, Silver e Gold consultáveis por DuckDB e dashboard Vue.
- ✓ Controlled scraper
- ✓ Manual candidate review
- ✓ Parquet layers
- ✓ DuckDB analytics
Avaliação e qualidade #
Qualidade é acompanhada por regras, drift de schema e lineage por execução, evitando tratar scraping como simples coleta descartável.
Limitações #
A coleta respeita fontes públicas/permitidas, robots.txt quando configurado, rate limit e timeout; termos de cada fonte ainda precisam ser verificados pelo usuário.
Próximos passos #
Ampliar conectores, observabilidade, regras de classificação, análises de tendência e implantação cloud.
Teste o produto e inspecione o código
A demo online executa o fluxo principal com dados locais e seguros. O repositório público preserva backend, testes, infraestrutura e documentação técnica completos.