Pessoa Engenheira de Dados SR - Remoto - 2609

A Softplan é uma das maiores empresas de software para o setor público da América Latina . Há 35 anos, desenvolvemos soluções que transformam a vida de milhões de pessoas, impactando aproximadamente 95% da população brasileira e expandindo nossa atuação também para Colômbia e Peru . Nossas tecnologias impulsionam a transformação digital nos segmentos de Infraestrutura e Obras, Processos Digitais e Administrativos e Justiça , tornando os serviços públicos mais ágeis, transparentes e eficientes. Trabalhar aqui é fazer parte de uma empresa que une propósito, inovação e impacto social . Atualmente, contamos com um portfólio de mais de 19 marcas e essa posição atuará no produto de Procuradorias de justiça, em uma vertical robusta, sendo a estrutura de Engenharia de Software uma sólida área. O produto está em mais de 140 procuradorias Estaduais e Municipaisdo país, com um planejamento de grande expansão até 2028 – gerando o desafio de controle, escalabilidade e estabilidade do produto. Projetar e evoluir nosso Lakehouse na AWS sobre Delta Lake, definindo padrões de modelagem, particionamento e organização em camadas (bronze/silver/gold); Construir e sustentar pipelines batch ponta a ponta com Spark/Databricks e DBT, orquestrados em Airflow; Operar pipelines de streaming com Kafka, garantindo dados em tempo real para o produto; Integrar o Lakehouse com plataformas de IA e análise, garantindo acesso otimizado para treinamento e inferência de modelos. Atuar na construção e sustentação da plataforma de dados, mapeando dependências e sincronizando roadmaps. Otimizar custos e desempenho de armazenamento e processamento em ambientes de nuvem. Experiência comprovada em engenharia de dados ou arquitetura de dados, com foco em Data Lakes e Lakehouses. Domínio de ferramentas e serviços de nuvem para dados (AWS S3, Glue, Athena, Lake Formation, Azure Data Lake, GCP Storage/BigQuery). Conhecimento sólido em SQL avançado e programação em Python (preferencial) para automação e transform