崗位職責:
1.數據需求分析與方案設計:對接業務部門理解數據需求場景與分析目標;結合業務需求設計數據架構方案,包括數據模型設計、數據流轉鏈路規劃及存儲方案選型;輸出數據需求規格說明書、數據模型設計文檔及技術實現方案。
2.數據ETL開發與維護:負責數據抽取、轉換、加載流程的設計與開發,使用Hadoop、Spark、Flink等大數據框架及SQL、Python等工具實現數據處理邏輯;優化ETL作業性能,解決數據抽取延遲、轉換異常等問題,確保數據處理的效率與準確性;維護現有ETL任務,定期進行腳本重構與性能調優。
3.數據倉庫與數據集市建設:參與企業級數據倉庫及數據集市的搭建,設計分層數據模型;負責數據倉庫表結構設計、索引優化及數據生命周期管理,保障數據倉庫的穩定性、可擴展性與安全性;實現數據血緣追蹤,建立數據質量監控機制。
4.數據服務與接口開發:封裝數據服務接口,為業務系統、BI報表工具及數據應用提供高效的數據支持;對接前端數據可視化需求,提供符合要求的數據聚合與計算結果;協助數據分析師、數據科學家獲取所需數據,支持數據驅動決策。
5.數據運維與技術沉淀:監控數據處理任務運行狀態,及時排查并解決數據質量問題、系統故障及性能瓶頸;負責數據開發相關工具、平臺的調研與引入,推動數據開發工程化建設;沉淀數據開發方法論、最佳實踐及故障處理案例,開展團隊技術分享與培訓。
任職要求:
1.本科及以上學歷,計算機相關專業,5年以上數據開發工作經驗。
2.熟悉數據質量管理方法論(如DAMA),能獨立設計數據質量規則與監控體系。
3.能獨立完成需求分析、數據建模與結果交付的全過程;
4.熟練掌握SQL,有數據倉庫建設和維度建模經驗,有可視化BI使用經驗。
5.能處理復雜業務邏輯與大規模數據分析;
6.持有CDMP、CISSP、數據工程師認證(如阿里云/華為云)者優先。熟悉開源數據治理框架(Apache Atlas/Amundsen)或數據血緣工具優先。