Engenheiro de dados para atuar com :
Databricks
Versionamento de código, colaboração e fluxos de trabalho de CI/CD
Construção de data lakes
Manipulação de dados
In this role, you'll work in one of our IBM Consulting Client Innovation Centers (Delivery Centers), where we deliver deep technical and industry expertise to a wide range of public and private sector clients around the world. Our delivery centers offer our clients locally based skills and technical expertise to drive innovation and adoption of new technology.
Engenheiro de dados para atuar com :
Databricks
Versionamento de código, colaboração e fluxos de trabalho de CI/CD
Construção de data lakes
Manipulação de dados
Conhecimentos Técnicos:
Linguagem de Programação Python.
Conhecimento em banco de dados relacional.
Linguagem de consulta a banco de dados SQL.
Big Data e Processamento Distribuído com Apache Spark e PySpark.
Conhecimento em Git/GitLab para versionamento de código, colaboração e fluxos de trabalho de CI/CD.
Conhecimento prático em Databricks, incluindo:
* Criação e otimização de notebooks Databricks.
* Uso de Delta Lake para construção de data lakes confiáveis.
* Experiência com Databricks SQL e Databricks Workflows.
* Manipulação de dados em ambientes Databricks Unity Catalog.
Experiência de trabalho em equipes que utilizam metodologias ágeis (Scrum, Kanban, etc.).
Capacidade de trabalhar em equipe e colaborar com stakeholders.
Habilidades de comunicação para transmitir informações de forma concisa e precisa.
Habilidades de negociação para resolução de conflitos.
Experiência com ferramentas de gerenciamento de projetos ágeis, como Jira, Trello ou similares.
Conhecimentos Técnicos Complementares (não obrigatórios):
NoSQL: Entendimento de bancos de dados NoSQL, com experiência prática em MongoDB.
Analytics: Conhecimento em Google Analytics e outras ferramentas de análise de dados para extração e processamento de dados.
Modelagem: Conhecimento em modelagem dimensional (fatos e dimensões).
BI: Experiência básica com a ferramenta.