崗位職責:
1.負責大數據平臺的數據采集、清洗、轉換和加載(ETL)流程的設計與開發,確保數據的準確性與時效性;
2.基于業務需求,使用維度建模等方法,設計和構建企業級數據倉庫與數據集市,支撐數據分析與應用;
3.熟練使用Hadoop、Spark、Flink等大數據計算框架進行數據處理與計算任務的開發,并對集群進行基本的性能監控與優化;
4.根據業務需求,從海量數據中提取、分析有價值的信息,為數據報表、可視化看板及上層數據應用提供可靠的數據支持;
5.參與大數據平臺的技術選型、架構設計與迭代,了解CDH、Doris、ClickHouse等主流組件,并能應用于實際場景解決業務問題。
能力要求:
1、本科及以上學歷,專業為數據科學、計算機科學與技術、統計學等相關專業;
2、持有ClouderaDataEngineer或HCIP大數據認證者優先;
3、精通Hadoop/Spark/Flink等大數據框架,熟悉數據倉庫建模(維度建模/星型模型);
4、能獨立完成數據采集、清洗、建模、分析,熟悉ETL開發;
5、了解主流大數據平臺(CDH/Doris/ClickHouse)。