Data Engineer

岗位职责

1.负责公司全链路数据体系搭建，覆盖离线批处理与实时流处理双链路。

2.搭建并维护数据采集、同步、清洗、转换的 ETL/ELT 流程，保障数据准确高效流入数据体系。

3.基于 Flink 完成实时采集、清洗、聚合与指标计算，保障数据及时性与准确性。

4.设计并实现数据仓库分层架构，完成数据建模、维度设计、指标口径统一，打造可复用、易维护的数仓底座。

5.开发数据接口、数据报表及简单数据服务，支撑业务部门（运营、销售、产品）的数据分析、决策及业务系统需求。

6.负责数据质量监控、问题排查与优化，保障数据准确性、完整性和及时性，制定简单的数据治理规范。

7.配合业务快速响应数据需求，优化现有数据流程和 SQL/作业脚本，提升离线及实时数据处理性能，降低维护成本。

任职要求

1.本科及以上学历，计算机和数学等相关专业，5 年以上数据开发 + 数仓相关工作经验。

2.熟练掌握 SQL，能独立编写复杂查询、存储过程，熟悉 MySQL、Hive、Paimon、HBase 等常用数据库/数据仓库/存储工具。

3.掌握 Java、Python 等编程语言，能独立完成 ETL 脚本及数据处理作业开发。

4.熟悉 Spark、Flink、Kafka 等数据处理组件，能独立完成数据同步、离线批处理及实时链路开发与调优。

5.具备数据仓库分层建模思维，了解数仓设计原则，能根据业务需求设计合理的数仓模型和指标体系。

6.具备较强的问题排查能力和逻辑思维，能快速定位数据异常、作业失败、性能瓶颈并给出优化方案。

7.有大小公司数据相关工作经验者优先，能适应一人多岗，具备良好的沟通能力和责任心，主动推进工作落地。

8.有阿里云数据平台（如 MaxCompute、DataWorks、DLF、Holo、quickbi 等）使用经验者优先。

9.有金融、交易、证券、支付等行业背景，熟悉交易流水、行情、风控等相关数据场景者优先。