职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
职位描述
1、负责科研数据平台下实时/离线数据集成业务的计算架构设计与开发;
2、负责对实时/离线数据集成服务的性能和稳定性进行优化;
3、参与计算与存储引擎的定制和改进,与合作机构/开源社区保持合作;
4、规划数据集成和数据湖等技术方向,培养发展技术团队,输出行业级别影响力。
职位要求
1、扎实的计算机基础和算法数据结构功底,对技术有热情,愿意不断尝试新技术和业务挑战;
2、熟悉 Spark、Presto、Druid、Kylin、Hive 等主流大数据系统原理及源码(不要求熟悉所有技术栈);
3、熟悉主流的 OLAP 引擎的优化原理,向量化执行、Filter 下推、物化视图、列式存储等;
4、掌握Java或Scala语言,如并发编程和JVM等,追求高标准的工程质量;
5、熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;
6、具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力;
7、有Storm/SparkStreaming/Flink等实时计算开发经验,向社区贡献过 patch 者优先(请注明);
8、熟悉Hadoop EcoSystem/Kafka/Clickhouse等技术者优先。