[Job-29175] Engenheiro(a) de Dados SENIOR, Brasil

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Sobre o Desafio:

O projeto consiste na migração e modernização de um legado massivo (baseado em Azure/Databricks) para uma nova arquitetura no Google Cloud Platform (GCP).
Você atuará na construção de uma fundação de dados moderna, seguindo princípios de Data Mesh, arquitetura medalhão (Raw/Silver/Gold) e forte governança, garantindo a desativação do legado e a habilitação de novas capacidades de IA e Analytics.

Principais Responsabilidades:

1. Migração e Modernização

• Analisar e migrar pipelines e notebooks (Spark/Databricks)
• Refatorar ou reescrever processos para: SQL / Dataform e Dataflow

2. Desenvolvimento de Pipelines (ETL/ELT)

• Criar transformações no BigQuery Dataform
• Construir camadas: Silver (Trusted) e Gold
• Garantir qualidade, deduplicação e padronização

3. Ingestão de Dados (Batch & Streaming)

• Implementar ingestão com:
  • Dataflow (Apache Beam) para eventos (Kafka/Event Hubs)
  • Datastream (CDC)
• Trabalhar com a persistência de dados na camada Raw utilizando tabelas Iceberg gerenciadas pelo BigLake.

4. Automação e Infraestrutura

• Provisionar recursos com Terraform (IaC)
• Gerenciar pipelines com CI/CD (GitHub Actions)
• Seguir modelo de Ingestion Factory e repositórios por domínio

5. Qualidade e Governança

• Implementar testes no Dataform
• Garantir:
  • Catalogação e linhagem (Dataplex)
  • Compartilhamento seguro (Analytics Hub)  

Requisitos Obrigatórios:

• SQL avançado (preferencialmente BigQuery)
• Experiência com GCP:  BigQuery, GCS, Dataflow, Cloud Composer (Airflow)
• Python Apache Spark
• Conhecimento em:
  • Data Lakehouse
  • Modelagem de dados
  • Particionamento
  • Formatos (Parquet, Avro, Iceberg)
• Experiência com:  Git e CI/CD

Diferenciais :

• Dataform ou DBT
• Experiência com Databricks
• Terraform (IaC)
• Streaming e eventos (Kafka / Event Hubs)
• Governança e segurança:  Dataplex, IAM, VPC Service Controls

O que você vai encontrar :

• Ambiente com alto volume de dados (petabytes)
• Migração de milhares de objetos
• Uso de tecnologias modernas: BigLake, Analytics Hub, Gemini
• Atuação em Data Mesh com domínios bem definidos

#LI-LL1

Nossos benefícios:

- Plano de saúde e odontológico;

- Vale alimentação e refeição;

- Auxílio-creche;

- Licença parental estendida;

- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass;

- Participação nos Lucros e Resultados (PLR);

- Seguro de Vida;

- Plataforma de aprendizagem contínua (CI&T University);

- Clube de descontos;

- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;

- Curso gestante e parentalidade responsável;

- Parceria com plataformas de cursos online;

- Plataforma para aprendizagem de idiomas;

- E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.