Uma carreira na IBM Consulting está enraizada em relacionamentos de longo prazo e colaboração próxima com clientes em todo o mundo.
Você trabalhará com visionários de vários setores para melhorar a jornada da nuvem híbrida e da IA para as empresas mais inovadoras e valiosas do mundo. Sua capacidade de acelerar o impacto e fazer mudanças significativas para seus clientes é possibilitada por nosso ecossistema de parceiros estratégicos e nossas robustas plataformas de tecnologia em todo o portfólio da IBM, incluindo Software e Red Hat.
A curiosidade e a busca constante por conhecimento são a base do sucesso na IBM Consulting. Em sua função, você será incentivado a desafiar a norma, investigar idéias fora de sua função e apresentar soluções criativas que resultem em um impacto inovador para uma ampla rede de clientes. Nossa cultura de evolução e empatia está centrada no crescimento da carreira a longo prazo e nas oportunidades de desenvolvimento em um ambiente que abraça suas habilidades e experiências exclusivas.
Nesta função, você trabalhará em um de nossos IBM Consulting Client Innovation Centers (Delivery Centers), onde fornecemos profundo conhecimento técnico e do setor para uma ampla gama de clientes dos setores público e privado em todo o mundo. Nossos centros de entrega oferecem aos nossos clientes habilidades e conhecimentos técnicos locais para impulsionar a inovação e a adoção de novas tecnologias.
O(a) Engenheiro(a) de Dados com especialização no ecossistema AWS atua aconselhando, desenvolvendo e mantendo soluções de engenharia de dados na nuvem AWS. É responsável por desenhar, construir e operar pipelines de dados batch e em tempo real usando serviços como AWS Glue, AWS EMR, Glue Catalog e Kinesis.
Também cria camadas de dados em RedShift, Aurora e DynamoDB, além de realizar migrações com AWS DMS. É essencial domínio dos principais componentes da AWS Data Platform, incluindo S3, RedShift Spectrum, AWS Glue com Spark e Python, Lambda Functions, Glue Catalog e Glue Databrew. Experiência em pipelines de dados para Data Warehouse e Data Lake, utilizando Kinesis, Managed Streaming for Apache Kafka, Apache Airflow e dbt, além de Spark/Python ou Spark/Scala na AWS, é altamente valorizada.
O(a) Engenheiro(a) agenda e gerencia serviços de dados na AWS, garantindo integração e operação impecáveis das soluções de engenharia de dados.
Principais Responsabilidades:
• Projetar, desenvolver e manter pipelines de ETL escaláveis usando AWS Glue, EMR, Spark (PySpark) e Python.
• Construir e operar pipelines de dados batch e em tempo real, integrando múltiplas fontes e destinos (S3, RedShift, Aurora, DynamoDB).
• Implementar e otimizar workflows e dataframes para alta performance e confiabilidade.
• Migrar dados utilizando AWS DMS e gerenciar catálogos de dados com Glue Catalog.
• Desenvolver dashboards e visualizações com AWS Quicksight.
• Aplicar princípios de Data Mesh para arquitetura de dados distribuída e governança.
• Utilizar ferramentas open source como Apache Airflow, dbt, Spark/Scala.
• Garantir a qualidade, segurança e governança dos dados em todo o ciclo de vida.
• Colaborar com times multidisciplinares para entregar soluções que suportem analytics avançado e inteligência de negócios.
• Experiência comprovada e prática com AWS Glue, Spark (conceitual), PySpark e Python.
• Conhecimento em Data Mesh e arquitetura de dados distribuída.
• Experiência com AWS Quicksight, S3, RedShift, Aurora, DynamoDB, Glue Catalog, Glue Databrew, Lambda Functions.
• Experiência com pipelines de dados batch e streaming (Kinesis, Kafka).
• Domínio de SQL e manipulação de dataframes.
• Vivência com ferramentas como Apache Airflow e dbt.
• Capacidade de atuar em ambiente ágil, colaborativo e multicultural.
• Perfil analítico, detalhista e orientado(a) à solução de problemas.