Liviu Enescu，罗马尼亚布加勒斯特的开发商
Liviu is available for hire
Hire Liviu

Liviu Enescu

Verified Expert  in Engineering

数据工程师和开发人员

Location
Bucharest, Romania
Toptal Member Since
October 10, 2022

Liviu是一名软件开发人员，在初创公司和大型企业环境中拥有超过15年的工作经验. 他专注于数据处理和ETL流. Liviu专门研究大数据和Hadoop集群中的数据湖, 以及关系数据库中的传统数据仓库.

ETLSQLT-SQL (Transact-SQL)ScalaApache SparkSoftware DevelopmentProgrammingData EngineeringDatabasesMicrosoft SQL ServerApache HiveImpalaDockerPythonSparkClouderaDB2Sqoop

Portfolio

nDimensional, Inc.
Scala, Kubernetes, Akka, Play, Spark, Flink, Apache Kafka...
A Top European Bank
Scala, Apache Spark, Impala, Apache Hive, SQL, Linux, Hadoop, Cloudera, Bash...
Freelance
Scala, Apache Spark, Docker, Python, SQL, ETL, Akka, PostgreSQL, Bash, Unix...

Experience

SQL - 10 yearsETL - 10 yearsScala - 7 yearsImpala - 6 yearsApache Hive - 6 yearsHadoop - 6 yearsApache Spark - 6 yearsBig Data - 6 years

Availability

Full-time

Preferred Environment

Git, IntelliJ IDEA, Linux

The most amazing...

...我参与的项目是一个集成数据平台，可以用于数据摄取, transformation, and analytics.

Work Experience

Scala Developer

2022 - 2023
nDimensional, Inc.
  • 在创业环境中担任核心角色, 专注于升级Scala和相关框架(Akka, Play, Spark, 和Flink)到最新版本的数据分析产品.
  • 参与并积极参与架构会议，将当前基于单体的应用程序迁移到微服务架构.
  • 与团队紧密合作，了解项目需求和可交付成果, 积极参与代码审查并提供有价值的见解.
技术:Scala, Kubernetes, Akka, Play, Spark, Flink, Apache Kafka, 亚马逊网络服务(AWS)

高级大数据开发员

2022 - 2023
A Top European Bank
  • 使用Scala和Apache Spark框架构建各种能够处理大量数据的数据处理管道. 这些管道部署在Cloudera Hadoop发行版中.
  • 优化了现有的Apache Hive和Impala基础设施，以提高平台的稳定性，并使当前进程能够在有限的时间内处理大量数据.
  • 积极参加建筑会议，提出替代和更有效的解决方案.
Technologies: Scala, Apache Spark, Impala, Apache Hive, SQL, Linux, Hadoop, Cloudera, Bash, Shell Scripting, Spark, Oracle, PL/SQL

Scala Developer

2020 - 2022
Freelance
  • 使用CQRS和Event Sourcing模式开发一个数据科学平台的后端模块.
  • 为各种平台组件和端点实现端到端测试.
  • 构建了一个高度可配置的数据生成器，以处理和生成平台性能测试所需的大量数据.
Technologies: Scala, Apache Spark, Docker, Python, SQL, ETL, Akka, PostgreSQL, Bash, Unix, Microservices, CQRS, Event Sourcing, Tox, E2E Testing, Unit Testing, Integration Testing, Jupyter Notebook, Shapeless, Monix, Web Services, Swagger, JDBC, JSON, APIs

高级大数据开发员

2016 - 2022
UniCredit
  • 在基于Cloudera Hadoop发行版的大数据环境下，开发Scala和Apache Spark数据处理和ETL管道.
  • 将现有的数据质量解决方案从Teradata迁移到大数据技术(Scala和Apache Spark).
  • 扩展了一个现有的复杂大数据应用程序，该应用程序由30个不同流程使用的130多个源组成, 超过一千个kpi, and 10TB of output data.
  • 开发了一个机器学习和人工智能MVP.
  • 将现有的大数据应用程序迁移到新的Apache Spark版本.6 to 2.4.
  • 开发了一个基于Neo4j图形数据库的网络基础设施监控应用.
  • 基于Apache Sqoop和Oracle开发了一个数据摄取框架.
Technologies: Scala, Apache Spark, Big Data, Oracle, Hadoop, Apache Hive, Impala, Apache Kafka, Apache Sqoop, HBase, Python, Machine Learning, Unix, Bash, Shell Scripting, Solr, Web Services, Teradata, Datastage, Data Quality, Docker, ETL, Data Transformation, Data Engineering, Data Pipelines, Pipelines, Neo4j, GraphDB, Cypher, Spark, Play, PL/SQL

高级商业智能开发人员

2015 - 2016
1&1 Internet
  • 扩展了在Sybase IQ中构建的现有企业数据仓库系统(用于操作数据存储), the ETL process, 和数据集市)和MicroStrategy(用作前端解决方案).
  • 将一个企业数据仓库解决方案从Sybase IQ列数据库迁移到Microsoft SQL Server.
  • 将多个项目从Oracle迁移到Microsoft SQL Server.
技术:SQL, ETL, Microsoft SQL Server, MicroStrategy

IT报告和MS开发主管

2014 - 2015
UNIQA Asigurari
  • 在财务环境中使用Microsoft技术设计并实现了一个完整的数据仓库系统.
  • 构建基于OLAP多维数据集和web报表的自报表平台.
  • 为所有内部客户端请求开发一个新的web解决方案，并将现有应用程序迁移和集成到新的、更友好的工具中.
  • 协调一个由SQL、BI和ASP组成的小团队.NET开发人员通过所有软件开发过程.
技术:Microsoft SQL Server，数据仓库，ETL, c#.NET, ASP.NET, 商业智能(BI), OLAP, SQL, SQL Server报表服务(SSRS), SQL Stored Procedures, T-SQL (Transact-SQL), SQL Views, 模型-视图-控制器(MVC), Entity Framework, LINQ, IT Project Management, Coaching, OLTP

IT报告服务主管

2011 - 2014
UNIQA Asigurari
  • 协调IT报告服务的活动, 包括需求分析, development, documentation, acceptance, 报告的自动化.
  • 基于微软技术的报表系统的设计、实现和维护.
  • 管理Microsoft SQL Server数据库实例, 监视备份和日志，并实现日志传送策略, 数据库优化和性能调优, 以及数据库自动重新索引策略.
  • 将数据库实例从Microsoft SQL Server 2005迁移到Microsoft SQL Server 2012.
  • 将报表web平台从SQL Server reporting Services 2005迁移到SQL Server reporting Services 2012.
  • 开发、建模和实现数据仓库和星型模式数据集市.
  • 实现了IBM Db2到Microsoft SQL Server 2012的解决方案，提供了近乎实时的增量复制.
  • 为不同的BI工具(如QlikView和Tableau)创建poc.
  • 组织在公司核心系统内实施新产品的测试和用户验收流程.
  • 用c#和ASP构建窗口和应用程序.NET MVC.
技术:Microsoft SQL Server, Data Warehousing, SQL Server报表服务(SSRS), SQL Server分析服务(SSAS), T-SQL (Transact-SQL), ETL, 数据库管理(DBA), Database Replication, OLAP, Data Marts, Star Schema, SSAS Tabular, Data Analytics

Software Developer

2005 - 2011
UNIQA Asigurari
  • 在Microsoft SQL Server中设计、开发和维护各种报表.
  • 受管理的Microsoft SQL Server数据库实例, including backups, restores, log shipping, 以及数据库服务器性能监控.
  • 开发ETL流程，将整个公司基于Microsoft SQL Server的核心系统数据库事务迁移到基于IBM Db2的新核心系统.
  • 构建了一组复杂的月末报告，成为精算的官方数据源, controlling, 监管报告.
  • 设计并实现了一个基于SQL Server reporting Services的web报表平台.
  • 基于SQL Server Analysis Services创建各种OLAP多维数据集.
  • 通过Web服务实现自动监管报告.
  • 构思并实现用于自动从不同来源导入数据的ETL流, 比如Multicash应用程序, to the core system.
技术:Microsoft SQL Server, SQL, ETL, SQL Stored Procedures, Reports, BI Reports, SQL Server报表服务(SSRS), SQL Server分析服务(SSAS), Web Services, SQL Performance, 数据库管理(DBA), OLAP, IBM Db2, Data Analytics

数据处理管道

在基于Cloudera Hadoop发行版的大数据环境中, 我构建了各种Scala和Apache Spark管道来处理来自多个来源的大量数据. 管道是相互依赖的, 计划使用单独的日历运行, 并使用不同的策略来加载源数据.

Data Science Platform

我开发了一个基于CQRS和Event Sourcing模式的Scala平台模块扩展，它非常成功，目前被许多银行使用. 该平台具有可重复性功能，使用户能够回到过去并重现以前的结果.

Apache Hive和Impala优化

我参与了在Apache Hive和Impala中管理的一些大表的优化, 每天新增数据超过300GB. 这些会导致性能问题, Apache Hive服务器metastore崩溃, 以及整个报道平台的不稳定性.

UNIQA Asigurari的数据仓库

我设计并实现了一个基于Microsoft SQL Server的事务数据仓库系统, sales, 以及与保险业务相关的理赔分析. 该系统为公司业务用户引入了自我报告功能, 谁以前依赖于技术用户来收集和提取有价值的数据见解.

Project details:
•Microsoft SQL Server用于数据仓库和后端部分
•通过Excel访问OLAP立方体进行分析
•用于BI和前端部分的SQL Server Reporting Services

UNIQA Asigurari的Web应用程序

根据公司不同部门的需求和要求，我构建了一个全新的综合web解决方案, 包括管理销售伙伴和经纪人, time tracking, 整合从银行收到的直接借记文件.

在这个项目中，我主要使用了微软的技术:ASP.. NET作为前端接口, 数据库为Microsoft SQL Server, 和Active Directory进行身份验证和授权. 每个用户只被授予访问特定模块的权限.

Languages

SQL, Scala, T-SQL (Transact-SQL)， Python, c#.. NET, c#， JavaScript，存储过程，Bash, Cypher

Frameworks

Apache Spark, Spark, ASP.NET, Hadoop, Akka, .NET, ASP.. NET MVC, Bootstrap, Swagger, Play

Paradigms

ETL, 商业智能(BI), OLAP, CQRS, Event Sourcing, Microservices, E2E Testing, Unit Testing, 模型-视图-控制器(MVC)

Tools

Impala, Git, IntelliJ IDEA, Apache Sqoop, Cloudera, Solr, Flink

Platforms

Docker, Linux, Oracle, Apache Kafka, Unix, Jupyter Notebook, Nexus, Kubernetes, 亚马逊网络服务(AWS)

Storage

Databases, Microsoft SQL Server, Apache Hive, Data Pipelines, SSAS Tabular, HBase, PostgreSQL, SQL Stored Procedures, SQL Views, DB2/400, SQL Functions, SQL Server报表服务(SSRS), Teradata, Datastage, SQL Server分析服务(SSAS), 数据库管理(DBA), Database Replication, SQL Performance, IBM Db2, Neo4j, JSON, PL/SQL, OLTP

Other

Software Development, Programming, Data Engineering, APIs, Algorithms, Software Deployment, IT Project Management, Data Warehousing, MicroStrategy, Big Data, Machine Learning, ELT, Data Modeling, Triggers, Shell Scripting, Tox, Integration Testing, Shapeless, Web Services, Data Quality, Coaching, Data Marts, Star Schema, Reports, BI Reports, Data Transformation, Pipelines, GraphDB, Data Analytics

Libraries/APIs

实体框架，LINQ, Monix, JDBC

2011 - 2013

计算机科学应用项目管理硕士学位

Faculty of Cybernetics, Statistics, and Informatics; Bucharest University of Economic Studies - Bucharest, Romania

1998 - 2003

计算机科学学士学位

Faculty of Cybernetics, Statistics, and Informatics; Bucharest University of Economic Studies - Bucharest, Romania

1997 - 2002

电子与通信专业本科以上学历

布加勒斯特Politehnica大学-布加勒斯特，罗马尼亚

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring
" class="hidden">101家教网