Data Engineer

Listed as a remote role based in Aveiro, Portugal. Junte-se à equipa amarela como nosso novo Data Engineer! Responsabilidades: Projetar, desenvolver, otimizar e manter arquiteturas de dados robustas e escaláveis, garantindo a integridade e a segurança dos dados. Planejar e implementar processos de ingestão de dados a partir de múltiplas fontes, incluindo APIs, bancos de dados relacionais e não relacionais, e dados em tempo real. Analisar, manipular, transformar e processar grandes conjuntos de dados complexos utilizando ferramentas e linguagens apropriadas. Construir pipelines de dados confiáveis, escaláveis e de alto desempenho, empregando melhores práticas de engenharia para garantir eficiência. Desenvolver e manter pipelines de dados em tempo real, utilizando tecnologias como Apache Kafka ou Azure Stream Analytics, para suportar aplicações com necessidade de resposta imediata. Apoiar a formação e execução de modelos de machine learning, contribuindo na integração do modelo ao ambiente de produção. Trabalhar com conjuntos de dados estruturados e não estruturados, aplicando técnicas de modelagem e transformação para extrair insights valiosos. Contribuir para a criação de produtos de dados que melhorem a produtividade e a eficiência em equipas e organizações, muitas vezes interagindo diretamente com stakeholders para entender as suas necessidades. Facilitar a transição de clientes para uma abordagem mais cloud-native e orientada a dados, promovendo a adoção de tecnologias emergentes. Promover a troca de conhecimentos e garantir documentação rigorosa para suportar o trabalho em equipa e a continuidade dos projetos. Explorar e integrar novas ferramentas, metodologias e técnicas, mantendo-se atualizado sobre as melhores práticas e tendências da indústria. Colaborar em um ambiente ágil e multifuncional, contribuindo para sprints, retrospectivas e iterações do projeto. Requisitos: Mínimo de 3 anos de experiência como Data Engineer, com um portfólio de projetos evidenciando competências técnicas. Mínimo de 3 anos de experiência com Python ou Scala e SQL, sendo valorizada a proficiência em frameworks de ETL. Licenciatura em Ciência da Computação, Engenharia de Dados, Data Science, Matemática, Física ou áreas afins. Experiência comprovada no design e manutenção de arquiteturas de dados em ambientes de grande escala, utilizando práticas de modelagem semântica. Sólido conhecimento em conceitos de Data Lake, Data Warehouse, Data Vault e Data Mart, bem como suas arquiteturas e implementações. Forte compreensão das energias de armazenamento de dados estruturados e não estruturados, e experiência em sistemas de arquivos distribuídos. Competência na estruturação de pipelines de dados para garantir confiabilidade, escalabilidade e performance, utilizando tecnologias como Apache Airflow ou similares. Proficiência no uso de motores de processamento analítico, como Apache Spark ou Apache Flink, para a realização de processamento de dados em larga escala. Experiência com formatos de armazenamento de dados modernos, como JSON, Parquet e ORC, otimizando storage e performance. Vivência em equipas ágeis, demonstrando habilidades de documentação e atenção aos detalhes em todos os projetos. Mentalidade analítica e capacidade de fundamentar decisões em métricas e dados concretos. Perfil estruturado, orientado para a qualidade e colaborativo, com excelente comunicação em inglês. Diferenciais: Experiência em Engenharia de Machine Learning e MLOps, com ênfase na implantação, rastreamento e monitorização de modelos em ambiente de produção. Familiaridade com ferramentas como MLflow, Kubeflow e TensorFlow Serving para o ciclo de vida de Machine Learning. Conhecimento em tecnologias de cloud como Azure, Databricks, Snowflake, AWS Athena ou Google BigQuery. Experiência na construção de pipelines de dados em tempo real com Azure Stream Analytics, Amazon Kinesis, Google Cloud Dataflow ou RabbitMQ. Compreensão dos princípios de CI/CD para pipelines de dados e modelos de machine learning, aplicando ferramentas como GitHub Actions, Jenkins ou Apache Airflow. Informações importantes: Localização: Portugal Modalidade: híbrido, com disponibilidade de trabalho no escritório pelo menos 2x por semana em Aveiro Show more Show less Seniority level Mid-Senior level Employment type Full-time Job function Information Technology Industries Technology, Information and Media