Pessoa Engenheira de Dados Sênior

A Caju é uma empresa brasileira de tecnologia , que busca dar mais sabor à vida profissional, transformando a relação entre empresas e colaboradores por meio de soluções mais inovadoras e seguras como o Cartão Multi Benefícios, Solução em Despesas Corporativas, Premiações e Caju Ciclos. Aqui na Caju , aprendemos sempre , e nos tornamos cada vez melhores em um ambiente colaborativo e divertido! São muito bem-vindas candidaturas de pessoas negras/pretas, mulheres, indígenas, LGBTQIA+, ou outros grupos minorizados. Inscreva-se e conheça mais sobre nosso time 🧡 Integração, Ingestão e Orquestração Multi-Source: Projetar e manter pipelines de integração heterogênea utilizando ferramentas como Apache Airflow, Dagster, Airbyte, AWS DMS, DBT, Kubernetes, APIs REST, SFTP e conectores diversos para ingestão contínua. Otimização de Performance, I/O e Custo (AWS & Databricks): Aplicar técnicas avançadas de particionamento, indexação ( Z-Ordering/Liquid Clustering ), otimização de layout de arquivos e estratégias de escrita/leitura no Amazon S3, Databricks e dbt , visando eliminar varreduras excessivas ( full table scans ), diminuir custos de requisições S3 (GET/LIST) e acelerar o consumo de consultas. Arquitetura Event-Driven & Streaming: Projetar e implementar ingestão de dados em tempo real por tópicos e eventos (ex: Apache Kafka, AWS Kinesis, Event Hubs), eliminando a dependência direta de consultas e cargas massivas em bancos relacionais (PostgreSQL, MySQL). Automação de Engenharia com IA: Implementar ferramentas, agentes e pipelines de GenAI/LLMs para automatizar tarefas operacionais da engenharia (ex: geração automática de documentação, pipelines, data quality checks, tradução/refatoração de SQL, análise de causa raiz de falhas, PRs). Pipelines End-to-End e Modelagem: Projetar, construir e manter pipelines robustos, aplicando modelagem dimensional e arquitetura Medallion para entregar dados limpos, agregados e otimizados tanto no processo de ingestão quanto no de consumo.