Alexandre França de Magalhães
Verified Expert in Engineering
Data Warehousing Developer
Alexandre是一位拥有超过六年专业经验的高级数据工程师. 他的主要经验是设计和构建数据湖和数据仓库,并利用可用资源处理数据, such as Spark, SQL from their databases, Pandas, etc. Alexandre熟悉Azure和AWS堆栈,但对使用其他云持开放态度.
Portfolio
Experience
Availability
Preferred Environment
Spark SQL, Spark, SQL, Azure, Databricks, Python, Amazon Web Services (AWS), Apache Airflow, Azure Data Factory, Amazon Elastic MapReduce (EMR)
The most amazing...
...我开发的项目是一个基于云的数据湖架构, on-premise, and API data sources.
Work Experience
Data Engineer
PepsiCo
- 从零开始开发百事公司的全球媒体数据仓库, 目标是将所有媒体测量数据集中在一个公司和集中的环境中. 这些源混合在api、ODBC/JDBC和云存储之间.
- 致力于PySpark代码优化,以提高性能和标准化.
- 在Databricks上使用MLflow开发简单的机器学习模型来跟踪性能, metrics, and artifacts.
Lead Data Engineer
BCG - Gamma
- 与数据科学家一起开发数据管道,使实验产品化, data extractions, data modeling, data cleaning, 以及对多个云环境的质量检查.
- 处理大型数据集,使用Spark作为处理工具.
- Developed SQL queries to query, 在多个平台上分析和操作数据, such as Spark, Hive, and relational data sources.
Senior Data Engineer
Via Varejo
- 重构欺诈分析管道,为2021年黑色星期五的业绩改进做好准备, 在增加的批处理数据负载上实现恒定的执行时间.
- 参与公司欺诈数据市场的开发工作.
- 开发各种管道,解决摄取和数据处理需求.
Senior Data Engineer
Radix
- 为关系数据源开发了通用的摄取数据管道, 使用简单的配置文件加速新摄取的过程.
- 从头开始开发Delta Lake架构,用于安全高效的数据处理.
- 在Azure Synapse平台上开发和维护企业数据仓库.
Senior Data Engineer
Bridgestone
- 支持和增强的企业数据湖,构建在Azure云服务上,具有内部部署数据源, such as SQL Server, Oracle, and Kafka streams for sensor data.
- 使用SQL、PL/SQL和T-SQL为数据管道开发SSIS包.
- 管理负责现场软件和数据支持需求的第三方团队.
Software Developer
Chemtech
- 开发数据提取和功能,帮助数据科学团队训练和验证基于Python构建的机器学习模型, Pandas, 和Scikit-learn技术,用于公司的各种项目.
- 为多个客户公司开发数据管道,以服务于数据湖和数据仓库架构.
- 使用Jira作为报告工具跟踪和开发用户历史.
Software Developer
Braskem
- 为企业数据仓库中的数据ETL开发SQL脚本.
- 为满足业务分析师需求的生产报告创建复杂查询.
- 开发用于制造执行系统的c#后端应用程序.
Experience
Data Lakehouse For an Educational Company
Data Lake for Rubber and Tire Industry
零售企业欺诈检测管道的重构
Skills
Languages
SQL, Python, T-SQL (Transact-SQL),批处理,c#,雪花
Frameworks
Spark, Hadoop, Data Lakehouse
Libraries/APIs
PySpark, Pandas, REST APIs
Tools
Spark SQL, Apache气流,Synapse, Hue, Amazon Elastic MapReduce (EMR)
Paradigms
ETL, Automation, Samba
Platforms
Azure, Databricks, Oracle, Azure Synapse, Azure Event Hubs, Apache Kafka, Amazon Web Services (AWS), Docker, YouTube
Storage
Data Pipelines, SQL Server 2016, Oracle PL/SQL, MongoDB, Data Lake Design, Data Lakes, HDFS, Amazon S3 (AWS S3), JSON, Azure Blobs, PostgreSQL, Apache Hive, Google Cloud Storage
Other
Azure Data Factory, Azure Data Lake, Data Engineering, Data Modeling, ETL Tools, Data Warehousing, Data Management, Data Cleaning, Microsoft Azure, Streaming, Parquet, CSV, Delta Lake, CI/CD Pipelines, Data Extraction, Advertising, Media, Over-the-top Content (OTT), Roku, Dynamic Data, APIs, MLflow, Machine Learning
Education
Bachelor's Degree in Engineering
巴伊亚-萨尔瓦多联邦大学,巴西
Certifications
Certified Data Engineer Associate
Databricks
How to Work with Toptal
在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.
Share your needs
Choose your talent
Start your risk-free talent trial
Top talent is in high demand.
Start hiring