|
|
| |
| |
职位描述 用小程序查看更多 |
|
职责描述
1．数据平台开发与维护
·负责企业级数据平台的搭建与优化，包括数据采集、存储、计算、调度等核心模块（如基于Hadoop / Spark / Flink 构建离线＆实时数仓）；
·开发维护数据工具链（如数据同步工具、元数据管理系统、任务监控平台），提升数据开发效率。
2．数据管道设计与开发
·设计高可靠的数据 ETL 流程，处理结构化／非结构化数据（日志、 IoT 设备数据等），保障数据质量与时效性；
·优化海量数据计算性能（资源调度、 Shuffle 优化、存储压缩），降低集群成本。
3．数据建模与治理
·基于业务场景设计数据分层模型（ ODS / DWD / DWS / ADS )，制定数据标准与规范；
·参与数据血缘追踪、数据质量监控（如空值率、一致性校验）等治理体系建设。
4．实时计算与流处理
·开发实时数据管道（如 Kafka + Flink 实时看板），支持业务实时决策；
·解决流处理中的乱序、窗口计算、状态管理等技术难题。
5、数据服务化
·构建数据 API 服务，支持 BI 、算法等下游系统高效访问数据：
·开发数据权限控制模块，实现行列级数据安全管控。
6、技术研究与落地
·跟踪大数据领域新技术（如 Iceberg / Hudi 存算分离、湖仓一体），推动技术升级。
任职要求
1．教育背景：
·本科及以上学历，计算机、数学、统计学相关专业优先；
2．技术能力：
·精通 Java / Scala / Python 至少一门语言，熟悉多线程、分布式系统设计原理；
·熟练使用大数据生态技术栈：
计算引擎： Spark / Flink / Hive；
存储组件： HDFS / HBase / Kudu / ClickHouse；
消息队列： Kafka / Pulsar；
资源调度： YARN / Kubernetes；
·熟悉数据建模方法论（ Kimball / Inmon )，具备 SQL 调优经验；
3．经验要求：
·5年以上大数据开发经验，主导过至少一个模块（如实时计算平台、数据治理系统）的设计与落地；
·有 PB 级数据处理、高并发数据服务开发经验者优先；
|
|
| |
|
|
| |
|
