崗位職責:
1、負責設計并實現模塊級別的ETL流程,確保數據準確無誤地從源端傳輸到目端。
2、基于業務需求,優化數倉表結構設計,提升查詢性能,支持更快捷的數據訪問。
3、實施數據質量規則,定期檢查數據健康狀況,保證數據的一致性和可靠性。
4、參與數據建模,根據業務需求設計星型/雪花模型,優化數據倉庫結構。
任職要求:
1、年齡35歲以下,有2年以上大數據開發工作經驗
2、掌握Hadoop 生態核心組件原理(HDFS、YARN、Hive、Spark)
3、掌握數倉分層架構理論(ODS/DWD/DWS/ADS)及各層設計原則
4、掌握維度建模基礎(星型模型、雪花模型、緩慢變化維、拉鏈表)
5、掌握 DAMA 數據管理體系(數據標準、數據質量、元數據、主數據)
6、掌握數據校驗規則與邏輯(完整性、唯一性、格式合規性)
7、掌握SQL語言,熟悉數據查詢、連接、聚合、子查詢及窗口函數等常用操作。
8、掌握Python與常用數據處理庫(os/sys/json/re/pandas基礎)