• Presencial
  • São Paulo - SP
  • Clique abaixo para se candidatar

Website Verx RH em TI

Cargo: Especialista Cloudera Sênior (Big Data e GCP)
Localização: São Paulo – SP
Senioridade: Especialista
Modalidade: Presencial

Requisitos
Requisitos obrigatórios
– Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas.
– (Obrigatório) Experiência com ecossistema Hadoop e com Cloudera (CDH ou CDP).
– (Obrigatório) Domínio de Spark e PySpark, Hive e Impala em ambiente de produção de grande porte. Experiência com Kudu, HBase, Kafka ou NiFi.
– Conhecimento de segurança e governança no Cloudera (Ranger, Atlas, Kerberos). Experiência com Google Cloud, mínimo de 1 ano, em projetos ou ambientes de dados (Dataproc, BigQuery, Cloud Storage).

Atividades e Desafios:
Participará do processo de migração de uma plataforma de Big Data baseada em Cloudera para Google Cloud Platform (GCP)
– Analisar o ambiente Cloudera atual (CDP), seus serviços, configurações, dependências e jobs em produção.
– Apoiar o Discovery do inventário e da malha de dependências entre origens, jobs, tabelas e consumidores.
– Mapear componentes e recursos específicos do Cloudera e indicar o equivalente ou a adequação necessária no Google Cloud.
– Apoiar a migração de Spark, Hive, Impala, Kudu, HBase, Kafka e NiFi, incluindo versões legadas de Spark.
– Investigar diferenças encontradas na comparação entre legado e destino e identificar a causa.
– Apoiar a migração de políticas de segurança e governança (Ranger, Atlas, Kerberos) para o Google Cloud.
– Atuar junto aos especialistas do cliente no entendimento dos frameworks proprietários que rodam sobre o Cloudera.
– Documentar o conhecimento do legado para os times de engenharia.

Informações Complementares
Diferenciais:
– Experiência em projetos de migração de Cloudera ou Hadoop para nuvem.
– Certificação Cloudera ou Google Cloud.
– Experiência com Cloudera Data Engineering (CDE) e Airflow.
– Experiência com Apache Flink e CDC (Debezium).
– Experiência em instituições financeiras.

Competências comportamentais:
– Comunicação e didática
– Pensamento analítico
– Colaboração
– Organização
– Adaptabilidade

INSCREVA-SE PARA A VAGA

Compartilhe